Hadoop2.7与Spark1.6的集群搭建

机器说明：四台ubuntu系统的电脑，选取其中一台作为master，其余三台作为slaves。

  

  写在开头的两个坑： 

    1.虽然Linux支持一些特殊字符，但java里面并不支持。所以，Hadoop集群中的机器名不仅不能包含下划线，点也不可以。否则，在配置好集群之后运行jar程序的时候会报错。

    2.在ubuntu系统下，配置ssh无密码登录的时候，需要修改ssd_config配置文件，具体内容见下文。

  第一步，修改四台电脑的机器名，分别为Master、slaver1、slaver3、slaver4。以及通过ifconfig命令查看每台机器的固定ip，并将ip与主机名的映射添加到每一台机器的hosts文件中：

vim /etc/hostname

 

  第二步，在Master机器上进入root帐号（接下来的所有配置均在root帐号下进行），在/usr目录下新建java文件夹，然后将jdk压缩包解压在java文件夹下，并在/etc/profile中配置JDK环境。

su  root cd  /usr mkdir  java cd  java tar  -zxvf 压缩包名

  配置JDK（在etc/profile文件的最后面加上如下代码）：

export  JAVA_HOME= /usr/java/jdk1 .8.0_77 export  CLASSPATH=.:$JAVA_HOME /lib :$JAVA_HOME /jre/lib :$CLASSPATH export  PATH=$JAVA_HOME /bin :$JAVA_HOME /jre/bin :$PATH

  保存退出之后，运行下面代码让profile立即生效：

source  /etc/profile java -version    #在终端输入，可查看java版本即查看JDK是否配置成功

  第三步，将Hadoop压缩包解压在/usr目录下，并在/usr目录下新建spark文件夹，并将scala压缩包、spark压缩包解压在spark文件夹下。

  在/etc/profile中配置Hadoop、scala、spark环境变量如下：

  还是在终端运行(source /etc/profile)命令，让环境变量立即生效,然后可在终端运行(hadoop --version)查看Hadoop版本。

  第四步，安装ssh(无密码登录)，并实现Master与其它机器之间的通信。在终端依次输入如下命令：

apt-get  install  ssh   #然后在安装过程中输入Y即可 service sshd stop service  ssh  stop service sshd start service  ssh  start

  然后修改/etc/ssh/sshd_config文件(将如下代码覆盖掉文件之前的所有内容)：

# Package generated configuration file # See the sshd_config(5) manpage for details   # What ports, IPs and protocols we listen for Port 22 # Use these options to restrict which interfaces/protocols sshd will bind to #ListenAddress :: #ListenAddress 0.0.0.0 Protocol 2 # HostKeys for protocol version 2 HostKey  /etc/ssh/ssh_host_rsa_key HostKey  /etc/ssh/ssh_host_dsa_key HostKey  /etc/ssh/ssh_host_ecdsa_key HostKey  /etc/ssh/ssh_host_ed25519_key #Privilege Separation is turned on for security UsePrivilegeSeparation  yes   # Lifetime and size of ephemeral version 1 server key KeyRegenerationInterval 3600 ServerKeyBits 1024   # Logging SyslogFacility AUTH LogLevel INFO   # Authentication: LoginGraceTime 120 #PermitRootLogin without-password StrictModes  yes   RSAAuthentication  yes PubkeyAuthentication  yes #AuthorizedKeysFile    %h/.ssh/authorized_keys   # Don't read the user's ~/.rhosts and ~/.shosts files IgnoreRhosts  yes # For this to work you will also need host keys in /etc/ssh_known_hosts RhostsRSAAuthentication no # similar for protocol version 2 #HostbasedAuthentication no # Uncomment if you don't trust ~/.ssh/known_hosts for RhostsRSAAuthentication #IgnoreUserKnownHosts yes   # To enable empty passwords, change to yes (NOT RECOMMENDED) PermitEmptyPasswords  yes   # Change to yes to enable challenge-response passwords (beware issues with # some PAM modules and threads) ChallengeResponseAuthentication no   # Change to no to disable tunnelled clear text passwords PasswordAuthentication  yes   # Kerberos options #KerberosAuthentication no #KerberosGetAFSToken no #KerberosOrLocalPasswd yes #KerberosTicketCleanup yes   # GSSAPI options #GSSAPIAuthentication no #GSSAPICleanupCredentials yes   X11Forwarding  yes X11DisplayOffset 10 PrintMotd no PrintLastLog  yes TCPKeepAlive  yes #UseLogin no   #MaxStartups 10:30:60 #Banner /etc/issue.net   # Allow client to pass locale environment variables AcceptEnv LANG LC_*   Subsystem  sftp  /usr/lib/openssh/sftp-server   # Set this to 'yes' to enable PAM authentication, account processing, # and session processing. If this is enabled, PAM authentication will # be allowed through the ChallengeResponseAuthentication and # PasswordAuthentication.  Depending on your PAM configuration, # PAM authentication via ChallengeResponseAuthentication may bypass # the setting of "PermitRootLogin without-password". # If you just want the PAM account and session checks to run without # PAM authentication, then enable this but set PasswordAuthentication # and ChallengeResponseAuthentication to 'no'. UsePAM  yes

  重启ssh，让配置文件生效：

service sshd restart

  查看/root/.ssh目录下是否存在文件，如果有则删除，没有则开始下一步。

  在终端运行如下命令：

cd  /root/ . ssh ssh -keygen -t rsa   #三次回车 ssh -copy- id  -i  /root/ . ssh /id_rsa .pub master ssh  master

  通过ssh登录master(第一次需要输入密码)成功之后，exit退出然后再次登录，如果不需要再输入密码，即ssh无密码登录成功，否则删除/root/.ssh文件夹下所有文件，并重新安装。

  接下来，即可通过以下命令来建立与其它机器之间的通信：

ssh -copy- id  -i  /root/ . ssh /id_rsa .pub slaver1 ssh -copy- id  -i  /root/ . ssh /id_rsa .pub slaver3 ssh -copy- id  -i  /root/ . ssh /id_rsa .pub slaver4

  第五步，配置Hadoop。在/usr/hadoop-2.7.2路径下，依次输入如下命令：

mkdir  tmp mkdir  hdfs mkdir  hdfs /name mkdir  hdfs /data

  修改hadoop-2.7.2/etc/hadoop下的配置文件core-site.xml,在<configuration></configuration>中间加上如下代码：

<property>      <name>fs.defaultFS< /name >      <value>hdfs: //Master :9000< /value > < /property > <property>      <name>hadoop.tmp. dir < /name >      <value> file : /usr/hadoop-2 .7.2 /tmp < /value > < /property > <property>          <name>io. file .buffer.size< /name >          <value>131702< /value > < /property >

  修改hadoop-2.7.2/etc/hadoop下的配置文件hdfs-site.xml,在<configuration></configuration>中间加上如下代码：

<property>    <name>dfs.namenode.secondary.http-address< /name >    <value>Master:50090< /value >   < /property >    <property>     <name>dfs.namenode.name. dir < /name >     <value> file : /usr/hadoop-2 .7.2 /hdfs/name < /value >   < /property >   <property>    <name>dfs.datanode.data. dir < /name >    <value> file : /usr/hadoop-2 .7.2 /hdfs/data < /value >    < /property >   <property>    <name>dfs.replication< /name >    <value>3< /value >   < /property >   <property>    <name>dfs.webhdfs.enabled< /name >    <value> true < /value >   < /property >

  修改hadoop-2.7.2/etc/hadoop下的配置文件mapred-site.xml,在<configuration></configuration>中间加上如下代码：

<property>    <name>mapreduce.framework.name< /name >    <value>yarn< /value > < /property > <property>    <name>mapreduce.jobhistory.address< /name >    <value>Master:10020< /value > < /property > <property>    <name>mapreduce.jobhistory.webapp.address< /name >    <value>Master:19888< /value > < /property > <property>    <name>mapreduce.jobtracker.http.address< /name >    <value>Master:50030< /value > < /property >

  修改hadoop-2.7.2/etc/hadoop下的配置文件yarn-site.xml,在<configuration></configuration>中间加上如下代码：

<property>     <name>yarn.nodemanager.aux-services< /name >     <value>mapreduce_shuffle< /value >    < /property >    <property>     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class< /name >     <value>org.apache.hadoop.mapred.ShuffleHandler< /value >    < /property >    <property>     <name>yarn.resourcemanager.address< /name >     <value>Master:8032< /value >    < /property >    <property>     <name>yarn.resourcemanager.scheduler.address< /name >     <value>Master:8030< /value >    < /property >    <property>     <name>yarn.resourcemanager.resource-tracker.address< /name >     <value>Master:8031< /value >    < /property >    <property>     <name>yarn.resourcemanager.admin.address< /name >     <value>Master:8033< /value >    < /property >    <property>     <name>yarn.resourcemanager.webapp.address< /name >     <value>Master:8088< /value >    < /property >

  然后配置/hadoop-2.7.2/etc/hadoop目录下的hadoop-env.sh、yarn-env.sh，在其中添加如下代码：

export  JAVA_HOME= /usr/java/jdk1 .8.0_77

  接着配置/hadoop-2.7.2/etc/hadoop目录下slaves，在里面加上你的从服务器主机名(也就是其它机器的主机名)。

  以上全部配置成功后，将所有配置文件发送到各个从服务器：

scp  -r  /usr/hadoop-2 .7.2 root@slaver1: /usr scp  -r  /usr/java  root@slaver1: /usr scp  -r  /etc/profile  root@slaver1: /etc/profile   scp  -r  /usr/hadoop-2 .7.2 root@slaver3: /usr scp  -r  /usr/java  root@slaver3: /usr scp  -r  /etc/profile  root@slaver3: /etc/profile   scp  -r  /usr/hadoop-2 .7.2 root@slaver4: /usr scp  -r  /usr/java  root@slaver4: /usr scp  -r  /etc/profile  root@slaver4: /etc/profile

  最后在Master机器上执行如下命令进行namenode的格式化：

cd  $HADOOP_HOME bin /hdfs  namenode - format

  最后就可以用以下命令来启动Hadoop集群：

cd  sbin . /satrt-all .sh # 或者是用下面三行命令 . /start-dfs .sh . /start-yarn .sh . /mr-jobhistory-daemon .sh start historyserver

  启动集群之后，就可以利用集群来实现最简单的单词计数：

cd  $HADOOP_HOME /bin . /hadoop  fs - mkdir  /wmh     # 在hdfs上新建文件夹 . /hadoop  fs -put .. /etc/hadoop/yarn-env .sh  /wmh     # 上传文件到hdfs   # 运行wordcount . /hadoop  jar  /usr/hadoop-2 .7.2 /share/hadoop/mapreduce/hadoop-mapreduce-examples-2 .7.2.jar  wordcount  /wmh/yarn-env .sh  /wmh/yarn_out

  然后在浏览器打开master:8088查看信息。

  第六步，进行Spark集群配置。

cd  /usr/spark/spark-1 .6.1-bin-hadoop2.6 /conf cp  spark- env .sh.template spark- env .sh cd  slaves.template slaves   vim spark- env .sh   #在最下面添加如下代码 export  SCALA_HOME= /usr/spark/scala-2 .10.5 export  JAVA_HOME= /usr/java/jdk1 .8.0_77 export  SPARK_WORKER_MEMORY=2g export  HADOOP_CONF_DIR= /usr/hadoop-2 .7.2 /etc/hadoop     vim slaves  #删除文件中的localhost，并添加节点信息如下 slaver1 slaver3 slaver4

  到此，spark已经配置完成，然后将Master上配置好的spark、scala以及环境变量发送到每一个slave上去：

scp  -r  /usr/spark  root@slaver1: /usr scp  -r  /etc/profile  root@slaver1: /etc/profile ssh  slaver1 source  /etc/profile exit    scp  -r  /usr/spark  root@slaver3: /usr scp  -r  /etc/profile  root@slaver3: /etc/profile ssh  slaver1 source  /etc/profile exit    scp  -r  /usr/spark  root@slaver4: /usr scp  -r  /etc/profile  root@slaver4: /etc/profile ssh  slaver1 source  /etc/profile exit

  启动spark集群(可在master:8080查看)：

cd  /usr/spark/spark-1 .6.1-bin-hadoop2.6 /sbin . /start-all .sh # 进入scala编辑窗口 cd  .. /bin . /spark-shell

  关闭spark集群：

cd  /usr/spark/spark-1 .6.1-bin-hadoop2.6 /sbin . /stop-all .sh

  开启spark集群之后，可以利用spark集群实现最简单的单词计数：

# 运行bin下的spark-shell进入scala编辑窗口 val rdd = sc.textFile(“ /wmh/yarn-env .sh”) # 读取hdfs上的文件 val wordcount = rdd.flatMap(_. split (‘ ’)).map((_,1)).reduceByKey(_+_) wordcount.collect  # 可在master:4040查看具体信息

    如果会用python，也可以运行bin下的pyspark进入python编辑窗口，输入以下命令来实现单词计数：

rdd = sc.textFile(“ /wmh/yarn-env .sh”)

wordcount = rdd.flatMap(lambda x: x. split ( ' ' )).map(lambda x: (x,1)).reduceByKey(lambda a,b: a+b)

wordcount.collect()