hadoop

1.准备Linux环境

         1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0子网掩码：255.255.255.0 -> apply -> ok

                  回到windows--> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP：192.168.1.100 子网掩码：255.255.255.0 -> 点击确定

                  在虚拟软件上 --MyComputer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok     

         1.1修改主机名

                  sudovim /etc/sysconfig/network    

                   

                  NETWORKING=yes

                  HOSTNAME=jianlin*  ###

 

         1.2修改IP

                  两种方式：

                  第一种：通过Linux图形界面进行修改（强烈推荐）

                          进入Linux图形界面 -> 右键点击右上方的两个小电脑-> 点击Edit connections -> 选中当前网络System eth0-> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.1.101 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply

        

                  第二种：修改配置文件方式（屌丝程序猿专用）

                          vim/etc/sysconfig/network-scripts/ifcfg-eth0

                         

                          DEVICE="eth0"

                          BOOTPROTO="static"               ###

                          HWADDR="00:0C:29:3C:BF:E7"

                          IPV6INIT="yes"

                          NM_CONTROLLED="yes"

                          ONBOOT="yes"

                          TYPE="Ethernet"

                          UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"

                          IPADDR="192.168.1.101"           ###                                             

                          NETMASK="255.255.255.0"          ###

                          GATEWAY="192.168.1.1"            ###

                         

         1.3修改主机名和IP的映射关系

                   sudo vim /etc/hosts     (SSH使用

                         

                  192.168.1.***         jianlin*

         1.4关闭防火墙

                  #查看防火墙状态

                  serviceiptables status

                  #关闭防火墙

                  serviceiptables stop

                  #查看防火墙开机启动状态

                  chkconfigiptables --list

                  #关闭防火墙开机启动

                  chkconfigiptables off

        

         1.5重启Linux

                  reboot

 

2.安装JDK

         2.1上传alt+p 后出现sftp窗口，然后putd:\xxx\yy\ll\jdk-7u_65-i585.tar.gz

        

         2.2解压jdk

                  #创建文件夹

                  mkdir/home/hadoop/app

                  #解压

                  tar-zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

                 

         2.3将java添加到环境变量中

                   Sudo vim /etc/profile

                  #在文件最后添加

                  exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_65

                  exportPATH=$PATH:$JAVA_HOME/bin

        

                  #刷新配置

                  source /etc/profile

                 

3.安装hadoop2.4.1

 

更改slavl中的jianlin*（主机名字）

 

/home/hadoop/app/hadoop-2.4.1/etc

 

         先上传hadoop的安装包到服务器上去/home/hadoop/

         注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop

         伪分布式需要修改5个配置文件

         3.1配置hadoop

         第一个：hadoop-env.sh

                  vimhadoop-env.sh

                  #第27行

                  exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_65                

         第二个：vi core-site.xml

 

                  <!--指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->

                  <property>

                          <name>fs.defaultFS</name>

                                                                                                   <value>hdfs://jianlin*:9000/</value>

                  </property>

                  <!--指定hadoop运行时产生文件的存储目录 -->

                  <property>

                          <name>hadoop.tmp.dir</name>

                          <value>/home/hadoop/hadoop-2.4.1/data/</value>（改错tep改成data/）

    </property>

                 

         第三个：vi hdfs-site.xml  （hdfs-default.xml  (3)）

                  <!--指定HDFS副本的数量 -->

                  <property>

                          <name>dfs.replication</name>

                          <value>1</value>

   </property>

                 

         第四个：vi mapred-site.xml(mv mapred-site.xml.template mapred-site.xml)

                               （修改民资mvmapred-site.xml.template mapred-site.xml

                 

                  <!--指定mr运行在yarn上 -->

                  <property>

                          <name>mapreduce.framework.name</name>

                          <value>yarn</value>

   </property>

                 

         第五个：vi yarn-site.xml

                  <!--指定YARN的老大（ResourceManager）的地址 -->

                  <property>

                          <name>yarn.resourcemanager.hostname</name>

                                                                                                                                                   <value>jianlin*</value>

   </property>

                  <!--reducer获取数据的方式 -->

   <property>

                          <name>yarn.nodemanager.aux-services</name>

                          <value>mapreduce_shuffle</value>

    </property>

          

         3.2将hadoop添加到环境变量

         Hadoop-39/bin下去执行这个

          Sudo vim /etc/proflie

         exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_65

                                                             exportHADOOP_HOME=/home/hadoop/app/hadoop-2.4.1

                  exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

         source/etc/profile

        

         3.3格式化namenode（是对namenode进行初始化）

 

 

在jianlin1~中格式话

                  hadoopnamenode -format

                 

         3.4启动hadoop

                  先启动HDFS

                  sbin/start-dfs.sh

                 

                  再启动YARN

                  sbin/start-yarn.sh

                 

         3.5验证是否启动成功

                  使用jps命令验证

                  27408             NameNode

                  28218Jps

                  27643SecondaryNameNode

                  28066        NodeManager

                  27803ResourceManager

                  27512        DataNode   改错方法更改slavl中的jianlin*（主机名字）

 

                                            

                  http://192.168.1.101:50070（HDFS管理界面）

                  http://192.168.1.101:8088（MR管理界面）

                 

4.配置ssh免登陆

         主机上进行

（显示ll –a）

cd   .ssh

         执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

     将公钥拷贝到要免登陆的机器上  

         scp id_rsa.pub jianlin*:/home/hadoop

        

ssh到要链接机器上.shh文件上去

穿件文件夹

touchauthorized_keys 空文件

修改权限

chmod 600 ××× （只有所有者有读和写的权限）

cd .ssh

将到主目录id_rsa.pub追加到authorized_keys去

cat ../id_rsa.pub >> ./authorized_keys     他只是登录本机登录其它机器不要密码

配了自己授权之后才开启所有软件不要密码

#生成ssh免登陆密钥

         #进入到我的home目录

         cd~/.ssh

 

ssh-keygen -t rsa （四个回车）

自己授权登录免密码cat id_rsa.pub >> ./authorized_keys

 

 

2017．5.11

网页查看liunx配置

         C:\Windows\System32\drivers\etc修改hosts

                  添加 jianlin节点ip

                          #    192.168.50.149       jianlin1

         网页登录        http://jianlin1:50070