![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
爱玩技术的淘气包儿
这个作者很懒,什么都没留下…
展开
-
Kafka学习札记
一.安装配置1.部署Zookeeper,注意一个Zookeeper集群最好不要超过7个点(要保持一致性,太多点,效率会很差);2.安装Zookeeper,下载安装包的时候,地址:https://apache.org/dist/zookeeper/stable/,如果要使用下载带bin的安装包,如果需要源码下载无bin的安装包;3.完成java安装配置;===============...原创 2020-05-26 10:30:25 · 203 阅读 · 0 评论 -
Flink(Linux)-分布式集群搭建
1.到Flink官网下载最新版本安装包,https://flink.apache.org/downloads.html;2.安装jdk1.8或者以上版本;3.集群配置是按照master/slave的模式,首先选择一个主节点(master),主要配置: (1)flink安装目录中的conf/flink-conf.yaml ,主要配置jobmanager.rpc.address,配置为本...原创 2020-05-26 10:29:47 · 658 阅读 · 0 评论 -
Hadoop3.1.2(Linux版本)环境搭建记录-搭建准备
1.下载Hadoop安装包,在网址https://hadoop.apache.org/releases.html中可以看到所有的Hadoop版本,当然都是Linux版本,选择自己需要的版本,如本次选择的版本为3.1.2,下载地址https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz;...原创 2020-05-26 10:26:43 · 252 阅读 · 0 评论 -
Hadoop3.1.2(Linux版本)环境搭建记录1-Standalone(单机模式)
上一篇中已经完成了安装包的下载,以及安装配置工作,接下来说一下单机模式的配置方式。单机模式,就是只有一台机器的情况下,这种模式是不会使用HDFS的,同时也不会启动守护进程,只是用来调试MapReduce程序才会用到。这种方式不需要修改配置文件,直接调用hadoop命令运行即可。...原创 2020-05-26 10:29:01 · 251 阅读 · 0 评论 -
Hadoop3.1.2(Linux版本)环境搭建记录2-Pseudo-Distributed(伪分布式模式)
上一节中我们了解了单机模式,这一节中,会说明第二种模式伪分布式模式,这种模式相比于单机模式,增加了检查内存使用情况,hdfs输入输出,以及其他的守护进程交互。 配置伪分布式主要是配置etc/hadoop中的配置文件,分别是core-site.xml、mapred-site.xml以及hdfs-site.xml。core-site.xml(配置namenode)<c...原创 2020-05-26 10:29:09 · 165 阅读 · 0 评论