Hadoop到saprk伪分布式安装

从Hadoop到saprk伪分布式安装

目前使用的版本是:

scala-2.10.5.tgz
spark-1.3.0-bin-hadoop2.3.tgz
hadoop-2.2.0-64bit.tar.gz
jdk-8u65-linux-x64.tar.gz

Hadoop安装

hostname 看下自己的主机名
sicong.localdomain
cat /etc/hosts   看下对应的主机172.0.0.1有没有host到主机名
127.0.0.1   sicong.localdomain

防火墙顺带关闭
查看防火墙状态
service iptables status
关闭防火墙
service iptables stop
查看防火墙开机启动状态
chkconfig iptables --list
关闭防火墙开机启动
chkconfig iptables off
重启Linux
reboot

环境变量的配置（这里一次性把所有的环境变量全部配置了）

我这里默认都安装在/usr/local/目录下
export JAVA_HOME=/usr/local/jdk #jdk的环境变量配置
export SCALA_HOME=/usr/local/scala #Scala的环境变量的配置
export SPARK_HOME=/usr/local/spark #Spark环境变量的配置
export HADOOP_HOME=/usr/local/hadoop #hadoop 环境变量的配置
export PATH=$SCALA_HOME/bin:$SPARK_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PHP_HOME/bin:$PATH

jdk的安装

---

安装JDK
上传JDK文件到linux中
解压jdk
创建文件夹
mkdir /usr/local/jdk
在/usr/local/jdk目录下安装
chmod 755 jdk-8u65-linux-x64.tar.gz
tar -zxvf jdk-8u65-linux-x64.tar.gz
mv jdk-8u65-linux-x64 jdk

hadoop安装

---

在/usr/local/hadoop目录下安装
chmod 755 hadoop-2.2.0-64bit.tar.gz
tar -zxvf hadoop-2.2.0-64bit.tar.gz
mv hadoop-2.2.0-64bit hadoop

修改配置文件（5个） 配置文件在 /usr/local/hadoop/etc/hadoop 目录下 第一个：hadoop-env.sh `在27行修改 export JAVA_HOME=/usr/local/jdk

第二个：core-site.xml

<configuration>
<!-- 指定HDFS老大（namenode）的通信地址 主机名sicong.localdomain-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://sicong.localdomain:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/tmp</value>
</property>
</configuration>

第三个：hdfs-site.xml

<!--hdfs的备份数据值-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

第四个：mapred-site.xml.template 需要重命名：

mv mapred-site.xml.template mapred-site.xml
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

第五个：yarn-site.xml

<configuration>
<!-- reducer取数据的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

第六：配置从节点 vim slaves 

sicong.localdomain

格式化HDFS（namenode）第一次使用时要格式化

hadoop namenode -format`

启动hadoop

sbin/start-all.sh

验证是否启动成功 使用jps命令验证

27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://sicong.localdomain:50070 (HDFS管理界面)

http://sicong.localdomain:8088 （MR管理界面）

配置ssh免登陆

在服务器上 输入命令 chmod -R 755 /home/hadoop mkdir ~/.ssh ssh-keygen -t rsa rsa和dsa分别生成不同加密格式的ssh密钥，直接一直按回车键保存在默认的路径

在节点上配置authorizedkeys文件 输入命令 ``` cat ~/.ssh/idrsa.pub >> ~/.ssh/authorizedkeys cat ~/.ssh/iddsa.pub >> ~/.ssh/authorizedkeys `` 将本地的密钥保存在authorizedkeys 输入命令 chmod -R 700 ~/.ssh 注意当前你所在的路径

spark安装

安装scala：

chmod 777 scala-2.10.5.tgz
tar –zxvf scala-2.10.5.tgz
mv scala-2.10.5 scala

安装spark：

chmod 777 spark-1.3.0-bin-hadoop2.3.tgz
tar -zxvf spark-1.3.0-bin-hadoop2.3.tgz
mv spark-1.3.1 spark

修改spark-env.sh vi conf/spark-env.sh

export SPARK_MASTER_IP=sicong.localdomain
export SPARK_WORKER_MEMORY=512m
export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark
export HADOOP_CONF_DIR=/husr/local/hadoop/etc/hadoop
export SPARK_LIBRARY_PATH=$SPARK_HOME/lib
export SCALA_LIBRARY_PATH=$SPARK_LIBRARY_PATH
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077

修改文件 vi conf/slaves sicong.localdomain `

sbin/start-all.sh 启动spark集群 http://cloud1:8080可以监控spark 

然后使用使用./spark-shell启动