搬砖笔记

安装前准备1.首先准备三台服务器.一台master,两台slave.172.18.101.157 spark-master 172.18.101.162 spark-slave1 172.18.132.162 spark-slave22.设置免密登录1. 生成私钥和公钥[root@spark-master data]# ssh-keygen -t rsa一直...

安装前准备spark下载 由于我们的hadoop的版本是2.7.6.所以在选中spark版本的时候,要注意. 要选中pre-built for apache hadoop2.7 and later的版本 #下载spark[root@spark-master local]# wget http://mirror.bit.edu.cn/apache/spark/spark-2....

要通过web页面查看运行日志,需要启动两个东西 hadoop启动jobhistoryserver和spark的history-server.相关配置文件:etc/hadoop/mapred-site.xml <!--配置jobhistory的地址和web管理地址--> <property> <name>mapr...