![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据平台
budingningmeng
这个作者很懒,什么都没留下…
展开
-
Zookeeper是什么?
Zookeeper:自己理解:分布式系统的可靠协调系统。监控主从服务器的死活,当主服务器挂的时候,通过选举leader方式进行主服务器的选取,保证有主服务器。一般主从服务器的部署数量是奇数,因为要选举leader。百度百科原理:ZooKeeper是以Fast Paxos算法为基础的,Paxos 算法存在活锁的问题,即当有多个proposer交错提交时,有可能互相排斥导...原创 2019-10-23 14:07:43 · 190 阅读 · 0 评论 -
linux上安装配置flume1.8.0过程
转自:https://segmentfault.com/a/1190000011881177记一次linux上安装配置flume1.8.0过程1、安装jdk需要1.6以上版本参考文章https://segmentfault.com/a/11...2、下载flume从官网下载压缩包:http://flume.apache.org/downl...选择apache-flum...转载 2019-07-18 08:41:23 · 311 阅读 · 0 评论 -
centos上安装kafka及案例演示
使用kafka自带zookeeper的情况下,只需要配置/opt/kafka/config下server.properties文件即可!!!listeners=PLAINTEXT:// localhost:9092(单机安装,不要用IP,不知道为啥,但就是报错)1、启动kafka自带的zookeeper:1)nohup bin/zookeeper-server-start.sh con...原创 2019-07-23 19:48:13 · 133 阅读 · 0 评论 -
centos上安装flume及案例演示
环境准备:1、1台centos系统机器2、jdk安装包3、flume安装包步骤:1、flume安装的前提是先安装了JDK如下:centos7.2使用rpm安装jdk8①下载jdk到官网下载:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html我...原创 2019-07-17 15:27:57 · 669 阅读 · 0 评论 -
flume+kafka配置测试流程
1、配置flume里的conf文件[root@Zk-robot-2 kafka]# cd /opt/flume-1.8.0/conf/[root@Zk-robot-2 conf]# vi flume_to_kafka.conf#配置agentagent1.sources=source1agent1.channels=channel1agent1.sinks=sink1#配置so...原创 2019-07-24 19:50:32 · 422 阅读 · 0 评论 -
IDEA下maven项目windows环境构建(含scala插件配置)
IDEA下maven项目windows环境构建:第一步:下载IDEA,我这里的版本是2019.2,更新时间是2019.7.23第二步:下载JDK,安装好的直接在电脑控制台输入:java -version有正常的版本显示就是ok,我的是1.8版本第三步:在idea中配置JDK的包,在Project Settings中配置依赖,Source这里也要改成对应的8,即可;第四步...原创 2019-08-07 11:30:13 · 410 阅读 · 0 评论 -
hadoop单机版配置和测试
环境:centos7+hadoop-2.7.3.tar.gz1、首先下载hadoop,下载地址:http://hadoop.apache.org/releases.html2、解压到/opt/hadoop-2.7.3解压tar -zxvf hadoop-2.7.3.tar.gz 安装:mv hadoop-2.7.3.tar.gz /opt/hadoop-2.7.3(放到想要安装的...原创 2019-08-16 11:20:06 · 510 阅读 · 0 评论