单节点伪分布

一：linux配置

1.切换到root用户

打开配置文件：vi /etc/sudoers

在进入配置文件之后，把要添加权限的用户添加进入，在“root ALL=(ALL) ALL”的下面添加一行“xxx ALL=(ALL) ALL”(xxx为要添加权限的用户名)

2.设置完切换回当前用户

①修改主机名:sudo vi /etc/sysconfig/network

HOSTNAME = master

②修改ip:sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0

    ONBOOT=yes 开机自启动

    BOOTPROTO=static  静态ip地址方式

    IPADDR=192.168.x.x  IP地址(自己定义)

    NETMARK=255.255.255.0 子网掩码

    GATEWAY=192.168.x.1  网关

③映射关系 sudo vi /etc/hosts

    在最下面一行添加 前面配置的ip 主机名

    192.168.x.x  master

④reboot 重启 （也可不重启）

3.配置SSH无密码连接

①关闭防火墙

  sudo service iptables stop  临时关闭

  sudo chkconfig iptables off 永久关闭

②开启SSH服务

     默认情况下 安装的有ssh服务 并且自启动着

     sudo service sshd status  查看服务状态

     若未开启 sudo service sshd start  开启 sudo service sshd restart 重启

③使用远程连接软件

    ping通ip

创建四个文件夹

1. mkdir software 放压缩文件
2. mkdir app 存放其他文件
3. mkdir lib 存放开发jar包
4. mkdir data 存放配置文件

 ④使用主机生成公钥

     ssh-keygen -t rsa

      存放位置：/home/用户/.ssh 隐藏目录

 ⑤公钥拷贝到本机的authorized_keys列表

     ssh-copy-id  -i  ~/.ssh/id_rsa.pub 用户名@主机名

二：jdk配置

1.查看当前系统jdk

rpm -qa | grep jdk

2.删除系统jdk(在root用户)

sudo rpm -e --nodeps java...(jdk名称）

3.安装jdk

   (1)上传jdk到CenOs使用FileZilla（也可以使用Xshell直接上传：sftp 连接虚拟机的网址(直接突拖进去)）

   (2)解压 sudo tar -zxvf 压缩包目录 -C 解压到哪里的路径

4.配置jdk环境

    sudo vi /etc/profile

    export JAVA_HOME=jdk安装目录(此处可以先查找到jdk 进入jdk目录中 pwd查看当前路径 复制)

    export PATH=$JAVA_HOME/bin:$PATH

5.使配置文件生效

   source /etc/profile

6.查看Java版本确认是否生效

    java -version

三：Hadoop安装部署

安装CDH

  (1) 上传CDH压缩文件到CentOs(也可以使用jdk上传的方式)

  (2)解压CDH压缩文件

      解压 sudo tar -zxvf 压缩包目录 -C 解压到哪里的路径

  (3)修改配置文件

  ①修改hadoop-env.sh

      sudo vi hadoop-env.sh

      在文件末尾添加

      export JAVA_HOME=jdk安装目录

      export HADOOP_HOME=cdh安装目录

②修改core-site.xml

     sudo vi etc/hadoop/core-site.xml

     添加：

<configuration>

<property>

        <name>fs.defaultFS</name>

        <value>hdfs://master:8020</value>

 </property>

 <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hdfs/tmp</value>

</property>

</configuration>

③修改hdfs-site.xml

sudo vi etc/hadoop/hdfs-site.xml

<configuration>

<property>

        <name>dfs.replication</name>

        <value>3</value>

</property>

<property>

        <name>dfs.name.dir</name>

        <value>/root/soft/hdfs/tmp/dfs/name</value>

</property>

<property>

        <name>dfs.data.dir</name>

        <value>/root/soft/hdfs/tmp/dfs/data</value>

</property>

</configuration>

④修改slaves文件

sudo vi etc/hadoop/slaves

添加：

Master

⑤修改mapred-site.xml

<property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

  </property>

⑥修改yarn-site.xml

<property>

                <name>yarn.resourcemanager.address</name>

                <value>master:8080</value>

</property>

 <property>

                <name>yarn.resourcemanager.resource-tracker.address</name>

                <value>master:8082</value>

 </property>

  <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

  </property>

⑦追加HADOOP_HOME到/etc/profile中

     sudo vi etc/profile

     添加：

     export PATH=$PATH:$HADOOP_HOME/bin

⑧使配置文件生效

      source /etc/profile

(4)格式化hdfs

进入到bin目录 执行

hadoop namenode -format (仅第一次执行，不要重复执行)

启动Hadoop并验证安装,进入sbin目录 执行(./start-dfs.sh)

若权限不够：创建logs目录并添加logs目录的权限

hadoop目录下：sudo mkdir logs

sudo chomd 777 logs/

(5)检验是否启动成功(在sbin目录下)

./start-dfs.sh

①通过进程查看 jps

出现：I. 8817 DataNode

          II. 9013 SecondaryNameNodes

          III.9119 jps

          IV.8714 NameNode

②通过浏览器查看

http://master:50070

(6)停止hadoop

    进入sbin目录 ./stop-dfs.sh