![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark集群配置
htfenght
这个作者很懒,什么都没留下…
展开
-
2 Hadoop集群搭建
Hadoop集群搭建安装hadoop下载hadoop将下载的hadoop包解压缩到/usr/local文件夹下配置hadoop环境变量配置hadoopcd hadoop/etc/hadoop/修改core-site.xml<property> <name>fs.default.name</name> <value>hdf...原创 2018-11-18 21:10:03 · 188 阅读 · 0 评论 -
3 Hive搭建
Hive搭建仅仅在spark1上搭建下载安装HIVE下载hive,下载bin版本,不要下载src版本将下载的hive包解压缩到/usr/local文件夹下修改夹名字为hive配置环境变量下载安装mysql安装mysql serveryum install -y mysql-serverservice mysqld startchkconfig mysqld on...原创 2018-11-18 21:10:31 · 191 阅读 · 0 评论 -
4 Zookeeper集群搭建
ZooKeeper集群搭建搭建Zookeeper的目的是为了后面搭建kafka,搭建kafka的目的是后面的spark streaming要进行实时计算,最常用的场景就是让Spark streaming接通kafka来做实时计算的实验。下载安装ZooKeeper下载ZooKeeper将下载的ZooKeeper包解压缩到/usr/local文件夹下修改ZooKeeper文件夹名字为zk...原创 2018-11-18 21:10:51 · 174 阅读 · 0 评论 -
5 kafka集群搭建
kafka集群搭建安装scala下载scala将下载的scala包解压缩到/usr/local文件夹下修改scala文件夹名字为scala配置环境变量按照上述步骤在spark2和spark3机器上都安装好scala。使用scp将scala和.bashrc拷贝到spark2和spark3上即可。安装kafka下载kafka将下载的kafka包解压缩到/usr/local文件夹...原创 2018-11-18 21:11:14 · 166 阅读 · 0 评论 -
6 Spark集群搭建
Spark集群搭建Spark安装下载Spark-bin-hadoop将下载的Spark-bin-hadoop包解压缩到/usr/local文件夹下修改Spark-bin-hadoop文件夹名字为spark配置环境变量vi .bashrcexport SPARK_HOME=/usr/local/sparkexport PATH=$PATH:$SPARK_HOME/binexpo...原创 2018-11-18 21:11:36 · 177 阅读 · 0 评论 -
README
spark环境搭建note@htfeng学习北风网spark从入门到精通Spark环境搭建学习笔记目录1 CentoOS集群搭建2 Hadoop集群搭建3 Hive搭建4 Zookeeper集群搭建5 kafka集群搭建6 Spark集群搭建...原创 2018-11-18 21:13:45 · 508 阅读 · 0 评论 -
1 CentoOS集群搭建
CentOS集群搭建CentOS设置163的yum源的过程cd /etc/yum.repos.d/rm -rf *cp /usr/local/CentOS6-Base-163.repo . # 自己的repo文件移动到/etc/yum.repos.d/目录中:cp /usr/local/CentOS6-Base-163.repo .# 修改repo文件,把所有gpgcheck属性修...原创 2018-11-18 12:57:07 · 345 阅读 · 0 评论