八.Spark Streaming之scala,hadoop环境的搭建

一.Scala的安装:

1.下载:

wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

2.解压:

tar -zxvf scala-2.11.8.tgz -C ~/app/

3.配置系统环境变量:

vim .bash_profile   source .bash_profile然后加上以上配置

export SCALA_HOME=/root/app/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH

4.检查是否安装成功:
输入scala查看对应的版本

二.Maven的安装:

1.下载:

wget https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz

2.解压安装:

tar zxvf apache-maven-3.3.9-bin.tar.gz -C ~/app/

3.配置系统环境变量

vim .bash_profile然后加上一下配置

export MAVEN_HOME=/root/app/apache-maven-3.3.9
export PATH=$MAVEN_HOME/bin:$PATH

source .bash_profile

4.检查:

mvn -v

三.Hadoop的安装:

1.下载解压:

wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app/

2.环境配置:
配置文件都在etc/hadoop目录下
1).打开hadoop-env.sh

找到export JAVA_HOME把java的安装路径写上去

2).打开core-site.xml
在configuration标签下加入以下配置,记得hadoop.tmp.dir的值一定要有该目录

<property>
     <name>fs.defaultFS</name>
     <value>hdfs://ligh:8020</value>
 </property>
 <property>
     <name>hadoop.tmp.dir</name>
     <value>/root/data/tmp</value>
 </property>

3).打开hdfs-site.xml:
设置副本系数,因为只在一台机器上,所以就是单节点副本

<property>
      <name>dfs.replication</name>
      <value>1</value>
</property>

4).打开slaves文件:

改成本机即可:
ligh

5).在bin目录下对namenode进行格式化:

./hdfs namenode -format

成功标志如图:

6).启动hadoop

进入到sbin目录下,执行./start-dfs.sh
通过jps查看namenode,datanode,SecondaryNameNode是否启动成功
至此hdfs就搭建好了

7).搭建yarn
进入到etc/hadoop下的mapred-site.xml.template复制一份叫mapred-site.xml,在configuration标签中加入下面配置

<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
</property>

然后保存

8).配置yarn-site.xml

<property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
 </property>

启动:

./start-yarn.sh 
jps之后显示ResourceManager,NodeManager

浏览器输入ip:8088之后,会显示一个active的节点

检查:
hadoop fs -ls / 查看HDFS的目录

hadoop fs -mkdir /data 创建目录
hadoop fs -put mr-jobhistory-daemon.sh /data/  存储文件mr-jobhistory-daemon.sh到data目录下
hadoop fs -text /data/mr-jobhistory-daemon.sh   查看文件

测试yarn.进入到root/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3

等待控制台显示结果或者看浏览器中Running/Finished的Applications

至此hadoop就完成了安装和启动,并且测试成功。下面会更新Hbase以及Spark环境的搭建…