伪分布式的环境搭建

伪分布式的环境搭建

1.软件的准备

1）linux版本：CentOS-6.4-i386-bin-DVD1.iso
2）hadoop版本：hadoop-2.4.1.tar.gz
3）jdk版本：jdk-7u65-linux-i586.tar.gz
4）mysql版本：
MySQL-server-5.1.73-1.glibc23.i386.rpm
MySQL-client-5.1.73-1.glibc23.i386.rpm

2.伪分布式环境的搭建

2.1 linux环境准备

1.准备一个安装好的centos系统，用户名hadoop,密码：hadoop,管理员密码hadoop
2.将centos系统导入到vmware中
3.让普通用户具备sudo执行权限
切换到root
然后 vi /etc/sudoers
找到root ALL=(ALL) ALL 这一行
然后加入这 hadoop ALL=(ALL) ALL 这一行
4. 让Linux服务器在启动时不要启动图形界面
sudo vi /etc/inittab
将启动级别改成3
id:3:initdefault:
5.修改IP
两种方式：
第一种：通过Linux图形界面进行修改（强烈推荐）
进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮
-> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.1.101 子网掩码：255.255.255.0 网关：192.168.1.1 ->
DNS SERVER:8.8.8.8
apply

    第二种：修改配置文件方式（屌丝程序猿专用）
        vim /etc/sysconfig/network-scripts/ifcfg-eth0

        DEVICE="eth0"
        BOOTPROTO="static"               ###
        HWADDR="00:0C:29:3C:BF:E7"
        IPV6INIT="yes"
        NM_CONTROLLED="yes"
        ONBOOT="yes"
        TYPE="Ethernet"
        UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
        IPADDR="192.168.1.101"           ###
        NETMASK="255.255.255.0"          ###
        GATEWAY="192.168.1.1"            ###


    改完配置文件后不会自动生效，必须重启linux服务器（reboot）  
    或者重启network服务（sudo service network restart）

6修改主机名和IP的映射关系

    修改主机名：sudo vi etc/sysconfig/network

                    没有立即生效，需要刷新：
                    sudo hostname weekend001

                    终端需要重新远程登录

    IP的映射关系：（通过主机名找到这台机器）
                    sudo vim /etc/hosts

                    192.168.1.101   weekend001

                    测试：ping weekend001

7.安装JDK
2.1上传alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz

2.2解压jdk
    #创建文件夹
    mkdir /home/hadoop/app
    #解压
    tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

2.3将java添加到环境变量中
    sudo vi /etc/profile
    #在文件最后添加(shift+G命令到文件的最后面，gg回到最前面)
    export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
    export PATH=$PATH:$JAVA_HOME/bin

    #刷新配置
    source /etc/profile

8.安装hadoop2.4.1

先上传hadoop的安装包到服务器上去/home/hadoop/
    put c:/hadoop-2.4.1.tar.gz

解压到app文件夹中：
tar -zxvf hadoop-2.4.1.tar.gz -C app/


注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
3.1配置hadoop
第一个：hadoop-env.sh
    vim hadoop-env.sh
    #第27行
    export JAVA_HOME=/usr/java/jdk1.7.0_65

第二个：core-site.xml
    <configuration>
        <!-- 指定HDFS老大（namenode）的通信地址 -->
        <property>
                <name>fs.defaultFS</name>//指定默认的文件系统
                <value>hdfs://weekend001:9000/</value>//指定uri
        </property>
        <!-- 指定hadoop运行时产生文件的存储路径 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/hadoop-2.4.1/data</value>
        </property>
    </configuration>

第三个：hdfs-site.xml   hdfs-default.xml  (3)
    <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
</property>

还可以指定文件块的大小

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
    mv mapred-site.xml.template mapred-site.xml
    vim mapred-site.xml
    <!-- 指定mr运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

第五个：yarn-site.xml
    <!-- 指定YARN的老大（ResourceManager）的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>weekend001</value>
</property>
    <!-- reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
 </property>

9关闭防火墙
#查看防火墙状态
sudo service iptables status
#关闭防火墙
sudo service iptables stop
#查看防火墙开机启动状态
sudo chkconfig iptables –list
#关闭防火墙开机启动
sudo chkconfig iptables off

10将hadoop添加到环境变量

vim /etc/proflie
    export JAVA_HOME=/usr/java/jdk1.7.0_65
    export HADOOP_HOME=/itcast/hadoop-2.4.1
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

3.3格式化namenode（是对namenode进行初始化）
    hdfs namenode -format (hadoop namenode -format)

3.4启动hadoop
    先启动HDFS
    sbin/start-dfs.sh

    再启动YARN
    sbin/start-yarn.sh

3.5验证是否启动成功
    使用jps命令验证
    27408 NameNode
    28218 Jps
    27643 SecondaryNameNode
    28066 NodeManager
    27803 ResourceManager
    27512 DataNode
让windows识别主机名（C:\Windows\System32\drivers\etc）
    http://192.168.1.101:50070 （HDFS管理界面）
    http://192.168.1.101:8088 （MR管理界面）

11.配置ssh免登陆
#生成ssh免登陆密钥
1.进入到我的home目录
ssh-keygen -t rsa （四个回车）
2.查看一下所有的文件 ll -a
3.cd .ssh
此时就可以找到一个公钥了

    4.在.ssh目录新建一个授权列表文件
        touch authorized_keys

        修改权限
         chmod 600 authorized_keys

        将公钥追加给授权列表
        cat id_rsa.pub >> authorized_keys

（    4.//执行 scp id_rsa.pub 
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost
——）