Hadoop
文章平均质量分 51
Cheengvho
这个作者很懒,什么都没留下…
展开
-
Flume将日志log文件从本地导入kafka,再从kafka导入HDFS。(以Kafka在两个文件中分别作为Source和Sink)
kafka-in.conf文件(在/etc/flume-ng/conf文件夹下) #文件从本地路径到kafka配置文件# #-----------------------------# # 指定Agent的组件名称 agent1.sources = file_source agent1.sinks = kafka_sink agent1.channels = mem_channel #---...原创 2018-07-20 09:57:47 · 1537 阅读 · 1 评论 -
HDFS、Hive(Impala)读取本地文件到HDFS,再使用Hive(Impala)从HDFS读取文件进行建表
Hive 、Impala的用法相同,Hive直接输入hive就能启动,Impala使用Impala-shell命令进行启动 下面用一道题进行讲解这个过程: 给定一个企业对员工进行的安全培训数据表TrainingRecord(如下图),包括姓名(Name),培训日期(Date)和培训小时数(Hours),请写出相应的SQL查询回答下列问题: (1)查询每个员工的总培训小时数,平均培训时长和培训...原创 2018-07-20 10:28:31 · 5191 阅读 · 0 评论 -
自己写UDF函数导入hive对查询结果进行格式化显示(Java)
本篇UDF函数使用IntelliJ IDEA进行编写和打包,使用的是Java语言,数据使用上一篇博客“HDFS、Hive(Impala)读取本地文件到HDFS,再使用Hive(Impala)从HDFS读取文件进行建表”中已经放入hive中的数据进行查询展示。 创建一个maven项目,导入依赖包 <!-- 根据Linux系统上安装的的hadoop和hive版本,设置版本参数,不一定和我的...原创 2018-07-20 11:21:19 · 2008 阅读 · 0 评论 -
Flume根据文件中每行开始的日期进行文件夹分类导入HDFS
这里使用Flume只需要创建一个新的flume配置文件就可以了,我这里将配置文件取名为access_hdfs.properties,下面是配置文件内容: #-----------------access_hdfs.properties---------------# #--------------------Edit by Cheengvho-----------------# agent1....原创 2018-07-20 13:32:39 · 2631 阅读 · 0 评论