hadoop伪分布式搭建

第一步首先创建一个新的用户？为什么要创建一个新的用户？
因为linux系统可以对不同的用户，赋予不同的权限，通过这种方式可以限制不同用户对linux系统的操作。

创建一个新的用户？因为权限的问题使用root用户
command：useradd username 增加用户

command:passwd username 修改用户的密码

修改本机的名字
需要修改两个配置文件
1./etc/hostname
将localhost修改成为hadoop
2./etc/hosts
在文件后面追加本机的ip地址和主机名

hosts配置文件内容为

配置无密码登录
cd ~/.ssh
ssh-keygen -t rsa # 通过ssh-keygen命令来生成密钥对在.ssh目录下（会有提示，回车即可）。
cat id_rsa.pub >> authorized_keys # 将id_rsa.pub中的公钥信息保存到authorized_keys中.
chmod 600 ./authorized_keys # 修改文件授权.
压缩包的下载和解压
jdk压缩包的解压（注意在官网选择合适的.gz包，进行解压）
command：tar

hadoop压缩包的解压

环境的配置
需要在.bashrc文件中追加如下的环境配置

hadoop的文件配置：

1.core-site.xml文件的配置
默认情况下，Hadoop将数据保存在/tmp下，当重启系统时，/tmp中的内容将被自动清空，所以我们需要制定自己的一个Hadoop的目录，用来存放数据。另外需要配置Hadoop所使用的默认文件系统，以及Namenode进程所在的主机。
进行追加如下的配置

2.修改hdfs-site.xml配置文件
该文件指定与HDFS相关的配置信息。需要修改HDFS默认的块的副本属性，因为HDFS默认情况下每个数据块保存3个副本，而在伪分布式模式下运行时，由于只有一个数据节点，所以需要将副本个数改为1；否则Hadoop程序会报错。
进行追加如下的配置
3. mapred-site.xml配置
在该配置文件中指定与MapReduce作业相关的配置属性，需要指定JobTracker运行的主机地址。
因为hadoop默认配置文件中，只有mapred-site.xml.template，需要执行如下的命令
mv mapred-site.xml.template mapred-site.xml

4.修改yarn-site.xml配置文件

5.slaves
修改localhost 为 cyh

对hadoop集群进行格式化
执行如下的命令：
command：hadoop namenode -format

Hadoop启动

start.dfs.sh 开启hdfs进程
start.yarn.sh 开启yarn进程

执行jps命令
命令执行完成后输入jps命令若有5个进程：namenode、secondarynamenode、datanode、resourcemanager、nodemanager，则表示启动成功。

可以通过web访问http://ylitech:50070 查看NameNode和DataNode信息。
访问web界面：http://ylitech:8088 可以查看mapreduce运行情况。
至此hadoop伪分布式即安装成功。