大数据
筱筱汀
哦。
展开
-
使用Flume将Kafka中的数据导入Hive
0x01 需求背景 将Kafka中的JSON数据持久化存储到Hive表中,以供后期有查找的需求。 (看了很多讲解的博文,出了各种bug!饶了很多弯路!总结出来的经验就是一定要仔细看Flume的官方文档!!!!!!) Kafka中的数据示例: >{"id":1,"name":"snowty","age":25} Hive表示例: hive> desc hivetable...原创 2019-03-07 16:08:41 · 4512 阅读 · 2 评论 -
kafka、hive、flume环境搭建
环境为 ubuntu 16.04,ip:192.168.1.100,单机模式 0x00.JAVA环境搭建 0x01.kafka环境搭建 1. zookeeper 启动: ./zkServer.sh start-foreground 2. kafka 为了使kafka能够通过ip访问,需要修改`conf/server.properties`文件: advertised.lis...原创 2019-03-07 16:16:27 · 462 阅读 · 0 评论