hive
猫咪与狐狸
阳光明媚
展开
-
UDF函数进行大批量数据处理,将hive中数据string类型转为data类型
数据来源于区域轨道交通AFC数据,暂时采用一个月数据做测试,大约2.4G,使用UDF函数非常方便快速。在idea里编写一个自定义UDF程序实现时间格式转换,部分代码如下所需的UDF依赖包:hive.exec.*.jar(在 hive/lib 目录下)程序要继承 UDF,作为UDF的子类定义的方法名一定只能是evaluate输入与输出的时间格式 :月份要大写MM 小时也要大写 HH否则...原创 2019-12-11 11:29:30 · 735 阅读 · 0 评论 -
伪分布式下hive配置并用beeline远程连接
搭建hive用的是hive3.2.1,hadoop3.2.1,所用的环境是操作系统 Linux Ubuntu16.04(64位),需要的安装包jdk-8u211-linux-x64-tar.gz Hadoop-3.1.2.tar.gz apache-hive-3.1.2-bin.tar.gz), mysql(5.7.27,系统里自带有MySQL的安装包,不用自己下载)将jdk,hadoop,...原创 2019-11-15 13:27:54 · 667 阅读 · 0 评论