Hive
文章平均质量分 71
Cheengvho
这个作者很懒,什么都没留下…
展开
-
HDFS、Hive(Impala)读取本地文件到HDFS,再使用Hive(Impala)从HDFS读取文件进行建表
Hive 、Impala的用法相同,Hive直接输入hive就能启动,Impala使用Impala-shell命令进行启动下面用一道题进行讲解这个过程:给定一个企业对员工进行的安全培训数据表TrainingRecord(如下图),包括姓名(Name),培训日期(Date)和培训小时数(Hours),请写出相应的SQL查询回答下列问题:(1)查询每个员工的总培训小时数,平均培训时长和培训...原创 2018-07-20 10:28:31 · 5214 阅读 · 0 评论 -
自己写UDF函数导入hive对查询结果进行格式化显示(Java)
本篇UDF函数使用IntelliJ IDEA进行编写和打包,使用的是Java语言,数据使用上一篇博客“HDFS、Hive(Impala)读取本地文件到HDFS,再使用Hive(Impala)从HDFS读取文件进行建表”中已经放入hive中的数据进行查询展示。创建一个maven项目,导入依赖包<!-- 根据Linux系统上安装的的hadoop和hive版本,设置版本参数,不一定和我的...原创 2018-07-20 11:21:19 · 2019 阅读 · 0 评论 -
Kafka、Morphline、Hive的配合使用过滤并格式化日志数据
目录日志数据 创建并编写2个Flume配置文件:kafka_morphline_in.conf、kafka_morphline_out.conf 在Flume配置文件存放的同目录下创建并编写Morphline配置文件:morphline.conf 启动Zookeeper 启动Kafka 以kafka_morphline_out.conf配置文件agent2启动Flume 以kafk...原创 2018-08-20 10:19:08 · 751 阅读 · 0 评论 -
Hive(Impala)命令
新建表并从HDFS中导入数据:CREATE EXTERNAL TABLE webpage(page_id SMALLINT,name STRING,assoc_files STRING)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\t'LOCATION '/loudacre/webpage' 在Impala或者Hive中使用之前生成的、...原创 2018-08-20 11:44:42 · 430 阅读 · 0 评论