Hadoop
文章平均质量分 51
Cheengvho
这个作者很懒,什么都没留下…
展开
-
Flume将日志log文件从本地导入kafka,再从kafka导入HDFS。(以Kafka在两个文件中分别作为Source和Sink)
kafka-in.conf文件(在/etc/flume-ng/conf文件夹下)#文件从本地路径到kafka配置文件##-----------------------------## 指定Agent的组件名称agent1.sources = file_sourceagent1.sinks = kafka_sinkagent1.channels = mem_channel#---...原创 2018-07-20 09:57:47 · 1559 阅读 · 1 评论 -
HDFS、Hive(Impala)读取本地文件到HDFS,再使用Hive(Impala)从HDFS读取文件进行建表
Hive 、Impala的用法相同,Hive直接输入hive就能启动,Impala使用Impala-shell命令进行启动下面用一道题进行讲解这个过程:给定一个企业对员工进行的安全培训数据表TrainingRecord(如下图),包括姓名(Name),培训日期(Date)和培训小时数(Hours),请写出相应的SQL查询回答下列问题:(1)查询每个员工的总培训小时数,平均培训时长和培训...原创 2018-07-20 10:28:31 · 5228 阅读 · 0 评论 -
自己写UDF函数导入hive对查询结果进行格式化显示(Java)
本篇UDF函数使用IntelliJ IDEA进行编写和打包,使用的是Java语言,数据使用上一篇博客“HDFS、Hive(Impala)读取本地文件到HDFS,再使用Hive(Impala)从HDFS读取文件进行建表”中已经放入hive中的数据进行查询展示。创建一个maven项目,导入依赖包<!-- 根据Linux系统上安装的的hadoop和hive版本,设置版本参数,不一定和我的...原创 2018-07-20 11:21:19 · 2031 阅读 · 0 评论 -
Flume根据文件中每行开始的日期进行文件夹分类导入HDFS
这里使用Flume只需要创建一个新的flume配置文件就可以了,我这里将配置文件取名为access_hdfs.properties,下面是配置文件内容:#-----------------access_hdfs.properties---------------##--------------------Edit by Cheengvho-----------------#agent1....原创 2018-07-20 13:32:39 · 2649 阅读 · 0 评论