spark集群配置
htfenght
这个作者很懒,什么都没留下…
展开
-
2 Hadoop集群搭建
Hadoop集群搭建 安装hadoop 下载hadoop 将下载的hadoop包解压缩到/usr/local文件夹下 配置hadoop环境变量 配置hadoop cd hadoop/etc/hadoop/ 修改core-site.xml <property> <name>fs.default.name</name> <value>hdf...原创 2018-11-18 21:10:03 · 212 阅读 · 0 评论 -
3 Hive搭建
Hive搭建 仅仅在spark1上搭建 下载安装HIVE 下载hive,下载bin版本,不要下载src版本 将下载的hive包解压缩到/usr/local文件夹下 修改夹名字为hive 配置环境变量 下载安装mysql 安装mysql server yum install -y mysql-server service mysqld start chkconfig mysqld on ...原创 2018-11-18 21:10:31 · 217 阅读 · 0 评论 -
4 Zookeeper集群搭建
ZooKeeper集群搭建 搭建Zookeeper的目的是为了后面搭建kafka,搭建kafka的目的是后面的spark streaming要进行实时计算,最常用的场景就是让Spark streaming接通kafka来做实时计算的实验。 下载安装ZooKeeper 下载ZooKeeper 将下载的ZooKeeper包解压缩到/usr/local文件夹下 修改ZooKeeper文件夹名字为zk ...原创 2018-11-18 21:10:51 · 180 阅读 · 0 评论 -
5 kafka集群搭建
kafka集群搭建 安装scala 下载scala 将下载的scala包解压缩到/usr/local文件夹下 修改scala文件夹名字为scala 配置环境变量 按照上述步骤在spark2和spark3机器上都安装好scala。使用scp将scala和.bashrc拷贝到spark2和spark3上即可。 安装kafka 下载kafka 将下载的kafka包解压缩到/usr/local文件夹...原创 2018-11-18 21:11:14 · 194 阅读 · 0 评论 -
6 Spark集群搭建
Spark集群搭建 Spark安装 下载Spark-bin-hadoop 将下载的Spark-bin-hadoop包解压缩到/usr/local文件夹下 修改Spark-bin-hadoop文件夹名字为spark 配置环境变量 vi .bashrc export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin expo...原创 2018-11-18 21:11:36 · 202 阅读 · 0 评论 -
README
spark环境搭建 note@htfeng 学习北风网spark从入门到精通Spark环境搭建学习笔记 目录 1 CentoOS集群搭建 2 Hadoop集群搭建 3 Hive搭建 4 Zookeeper集群搭建 5 kafka集群搭建 6 Spark集群搭建 ...原创 2018-11-18 21:13:45 · 533 阅读 · 0 评论 -
1 CentoOS集群搭建
CentOS集群搭建 CentOS设置163的yum源的过程 cd /etc/yum.repos.d/ rm -rf * cp /usr/local/CentOS6-Base-163.repo . # 自己的repo文件移动到/etc/yum.repos.d/目录中:cp /usr/local/CentOS6-Base-163.repo . # 修改repo文件,把所有gpgcheck属性修...原创 2018-11-18 12:57:07 · 351 阅读 · 0 评论