- 博客(8)
- 资源 (2)
- 收藏
- 关注
原创 ElasticSearch 7.1一些API的简单使用
ES 7.X 相比之前6.x版本最大的变化是不再有type的概念,不能再自建type,每个index提供了一个默认不可修改的type _doc。若公司有需求ES6.x升级到ES7.x官网提供了对应的解决方案。参考https://www.elastic.co/guide/en/elasticsearch/reference/7.0/removal-of-types.html以下操作基于k...
2019-06-28 19:16:25 1554
原创 Hive函数总结(三):数字函数汇总
1、四舍五入取整函数:round 语法:round(double a[,int d])说明:一个参数a四舍五入取整,两个参数a保留d位小数四舍五入举例:hive> select round(123.567) from dual;OK124.0Time taken: 0...
2019-06-22 23:17:21 3629 1
原创 Hive函数总结(二):时间日期函数
1、时间戳转日期函数:to_date 语法:to_date(string timestamp)说明:将标准格式时间戳转成日期格式举例:hive> select to_date('2019-06-21 13:21:13') from dual;OK2019-06-21...
2019-06-22 18:07:10 2252
转载 Hive函数总结(一):字符串函数
1、length 字符串长度length(string a)2、reverse反转字符串reverse('string')3、concat字符串连接函数concat('a','b')输出 ab4、concat_ws指定分隔符连接字符串concat_ws('-',...
2019-06-22 13:30:46 2144
原创 java代码中引用了scala类,Maven打包编译时爆出找不到scala类的异常
原因:项目打包时,会先编译java代码,再编译scala代码。编译顺序有问题导致打包时找不到相应的scala类解决:添加一个Maven build的插件 <plugin> <groupId>net.alchim31.maven</groupId> ...
2019-06-21 10:52:15 5828
原创 Azkaban的编译安装使用以及一些常见问题
1、下载源码https://github.com/azkaban/azkaban.git下载完成进行解压2、编译cd 到 azkaban 目录下,执行如下命令生成一系列文件./gradlew distTar编译完成3、创建工作目录,将编译后的jar包拷贝进来mkdirazkaban拷贝tar包cp azka...
2019-06-21 00:18:00 1585 2
原创 CTE的介绍与使用
1、什么是CTECTE可以被认为是在单个SELECT、INSERT、UPDATE、DELETE或CREATE VIEW语句的执行范围内定义的临时结果集。CTE类似于派生表,因为它不作为对象存储,并且仅在查询期间持续。与派生表不同,CTE可以自引用,并且可以在同一查询中多次使用。2、CTE作用: 创建递归查询 在一般不是必要使用视图时替换视图,这样的话,...
2019-06-11 22:47:15 5409
转载 Hive SQL的编译过程-转自美团团队
Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中,我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力,在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比...
2019-06-10 23:00:40 209
Apache Kafka实战.pdf--有新特性的介绍-强烈推荐
2019-07-24
SQL基础教程第3版高清-PDF-带目录书签
2019-07-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人