大数据hadoop伪分布式环境搭建

配置免密登录：
ssh centos-6-node02(主机名) 远程命令 需输入密码进入
exit 退出
ssh-keygen -t rsa(加密算法)
ssh-copy-id centos-6-node02(主机名)
输入密码
再次输入远程命令ssh centos-6-node02 既可以不用输入密码进入该系统

一。配置jdk

1. 先解压jdk
   tar -x(解压)z(gz格式)v(查看安装信息)f(后跟文件) jdk-8u231-linux-x86.tar.gz -C(解压到哪个路径) /opt/app
   2.配置环境变量
   vi /etc/profile 配置 JAVA_HOME

添加如下三行在最末尾

export JAVA_HOME=/usr/local/jdk1.8.0_221 
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar

source /etc/profile 使配置文件生效

二。配置hadoop环境变量
1.解压，2.配置环境变量vi /etc/profile，在最后加入以下两行

export HADOOP_HOME=/opt/app/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.验证：输入hadoop version
三。修改hadoop配置文件
配置文件目录：${HADOOP_HOME}/etc/hadoop下
1.hadoop-env.sh

export JAVA_HOME=/opt/app/jdk1.8.0_231/

2.core-site.xml

<configuration>
	<!--这项应该可以不用，待查-->
   <property>
        <name>fs.default.name</name>
        <value>hdfs://centos-6-node01:9000</value>
   </property>
   <!--默认文件系统的名称-->
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://centos-6-node01:9000</value>
   </property>
   <!--指定hdfs执行时的临时目录-->
   <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/app/hadoop-2.7.2/tmp</value>
    </property>
</configuration>

3.hdfs-site.xml

<configuration>
    <!--指定hdfs保存数据副本的数量，包括自己，默认为3-->
    <!--伪分布模式，此值必须为1-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <!--namenode文件存放位置，可以指定多个目录实现容错，用逗号分隔-->
        <name>dfs.name.dir</name>
        <value>/opt/app/hadoop-2.7.2/dfs/namenode_data</value>
    </property>
    <property>
        <!--datanode文件存放位置-->
        <name>dfs.datanode.data.dir</name>
        <value>/opt/app/hadoop-2.7.2/dfs/datanode_data</value>
    </property>
    <property>
        <!--设置hdfs操作权限，false表示任何用户都可以在hdfs上操作文件-->
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

4.mapred-site.xml
注：在${HADOOP_HOME/etc/hadoop}的目录下，只有一个mapred-site.xml.template文件，需复制一个进行更改。

<configuration>
        <property>
                <!--指定mapreduce运行在yarn上-->
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

5.yarn-site.xml

<configuration>
        <property>
                <!--指定yarn的老大resourcemanager的地址-->
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

6.slaves
在当前目录下，新建一个slavs文件，并输入该系统的主机名。
三。关闭防火墙

service iptables status/stop 查看/关闭防火墙
chkconfig iptables --list 查看防火墙服务
chkconfig iptables off/on 关闭/开启防火墙

四。初始化
第一次启动hadoop时需要进行初始化
hdfs namenode -format 格式化或者hadoop namenode -format 格式化
注：如果不进行初始化的话，可能namenode节点无法启动。
五。启动hdfs
start-dfs.sh 启动
六。验证
在浏览器上输入网址ip:50070或者主机名：50070
注：在电脑本地系统有虚拟机主机的映射，才可以用主机名访问的方法

七。简介hdfs的基本用法

jps 查看进程S
kill -9 11（进程号）杀死进程
hadoop fs -mkdir /xx 新建文件
hadoop fs -put /opt/software/aa(要上传的文件)  /xx(文件上传的目录) 上传文件到集权里

hadoop jar /opt/app/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar(统计单词的jar文件) wordcount(统计的文件名) /hpeu /output 统计单词个数

hadoop fs -ls /output # 显示output目录下的文件
hadoop fs -rm -r /output  # 删除文件
hadoop fs -mkdir /input  # 新建文件
hadoop 

 localhost:50070 集权网址
hadoop fs -ls /output2/par* 
关机时先停止hadoop:stop-dfs.sh
在同步：sync
然后shutdown

scp -r /opt/app/zookeeper-3.5.6/ centos-6-node01:/opt/app/zookeeper-3.5.6/  远程复制