Hadoop 1.x.0 伪分布式安装与配置

安装前的准备：

      1).下载安装PieTTY远程桌面连接工具

                             2）下载安装SCPwin工具进行文件传输 

     3).下载VMwareWorkStation并安装

                             4).下载Centos 6.4

1.hadoop的伪分布安装

1.1.使用root用户，密码是hadoop登录的。
1.2.修改linux的ip地址
    操作：(1)在linux桌面的右上角图标，右击，选择Edit Connections...
     选择ipv4的手工方式设置ip为192.168.80.100,掩码255.255.255.0，网管是192.168.80.1
 一步步保存退出。 
 (2)在终端执行命令service network restart
验证：执行命令ifconfig
1.3.windows下使用PieTTY进行远程连接
    操作：(1)设置VMware的网络连接方式为host-only
          (2)保证windows下的网络连接VMnet1启用状态，并且设置其ip地址为192.168.80.1。
    验证：使用PieTTY进行远程连接
1.4.设置hostname
    操作：修改文件vi /etc/sysconfig/network
     把hostname改为hadoop0
 保存退出。
    验证：重启linux
1.5.ip与hostname绑定
    操作：修改文件vi /etc/hosts，增加一行代码，如下
      192.168.80.100 hadoop0
    验证：ping hadoop0
1.6.关闭防火墙
    操作：执行命令service iptables stop
    验证: 执行命令service iptables status
1.7.关闭防火墙的自动运行
    操作：执行命令chkconfig iptables off
    验证：执行命令chkconfig --list|grep iptables
1.8.使用SSH进行免密码登录
    操作:(1)产生密钥，执行命令ssh-keygen -t rsa,产生的密钥文件位于~/.ssh文件夹中
    (2)执行命令cp   ~/.ssh/id_rsa.pub   ~/.ssh/authorized_keys
验证：ssh localhost
1.9.安装jdk
    操作:(1)把jdk放到/usr/local目录下,然后cd  /usr/local目录下
    (2)赋予执行权限 chmod u+x jdk-6u24-linux-i586.bin
         (3)使用./jdk-6u24-linux-i586.bin进行解压缩
(4)重命名，执行命令 mv  jdk1.6.0_24  jdk
(5)设置环境变量，编辑文件vi /etc/profile，增加两行记录
    export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
保存退出
(6)执行命令source /etc/profile
验证：执行命令java -version
1.10.安装hadoop
    操作：(1)解压缩，命令tar -zxvf hadoop-1.1.2.tar.gz
     (2)重命名，命令mv hadoop-1.1.2 hadoop
 (3)设置环境变量，修改vi /etc/profile
    export HADOOP_HOME_WARN_SUPPRESS=1
    export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
保存退出
 (4)执行命令source /etc/profile
 (5)修改hadoop的目录$HADOOP_HOME/conf目录下的配置文件
    <1>编辑文件hadoop-env.sh
   修改第9行  export JAVA_HOME=/usr/local/jdk
<2>编辑文件core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>  
</configuration>
<3>编辑文件hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>  
<4>编辑文件mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>
<description>change your own hostname</description>
</property>
</configuration>  
 (6)格式化文件系统，执行命令hadoop namenode -format
 (7)启动，执行start-all.sh
验证:(1)执行jps，发现5个新的java进程，分别是NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker
    (2)通过浏览器查看，访问http://hadoop0:50070或者http://hadoop0:50030查看
   在windows上修改文件C:\Windows\System32\drivers\etc\hosts
1.11 启动hadoop是出错的常见错误
    (1)command not found
    (2)unknonw hostname hadoop0
               

   
     






2.VMWare的网络连接方式
2.1 host-only，linux与windows使用专用网络，与外网物理隔离。
2.2 bridge，linux直接接入到windows所在的网络中，linux可以与其他机器通信