![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Bigdata
文章平均质量分 85
Mafeng-allen
这个作者很懒,什么都没留下…
展开
-
Flume读取日志,并写入到Kafka broker,然后调console consumer输出结果
最近在学习大数据,学习了Flume 和kafka,做了一个小实验,分享一下。实验环境:一个虚机 ,主机名:master软件安装,不在重复。下裁:apache-flume-1.7.0-bin.tar.gz,kafka_2.10-0.10.1.1.tar解压、安装。1. 日志生成脚本:[root@master software]# more createlog.sh#!/bin/bashi=1wh...原创 2018-06-25 12:30:11 · 775 阅读 · 0 评论 -
Hbase和Hive整合,Hive读Hbase的表内容
经过一下午,终于测试成功。前期:Hapood平台、Zookeeper、Hbase、Hive都安装好。(安装可以参考其它资源)本Demo版本:jdk1.8.0_171,hadoop-2.7.3,zookeeper-3.4.9,mysql-5.6.40-linux-glibc2.12-x86_64,hbase-1.2.4,apache-hive-2.1.1-binroot@master lib]#...原创 2018-07-04 17:02:18 · 1771 阅读 · 0 评论 -
搭建Sqoop, Hive和Mysql之间数据导入
经过一下午的努力,终于实现了Sqoop,在Hive和Mysql之间互相导入数据(表)前期准备:Hapood平台、Zookeeper、Hbase、Hive都安装好。(安装可以参考其它资源)本Demo版本:jdk1.8.0_171,hadoop-2.7.3,zookeeper-3.4.9,mysql-5.6.40-linux-glibc2.12-x86_64,hbase-1.2.4,apache-hi...原创 2018-07-05 14:55:49 · 822 阅读 · 1 评论