Hadoop生态圈(一) -- 伪分布式集群搭建

集群搭建
1.首先得有一个完整的虚拟机,目前作者使用的是Centos,企业大部分都在用这一款,当然你也可以用Ubntu… 网络状态良好

1.上传文件至虚拟机
1.上传文件的两种方式
1.1我们可以使用xftp上传文件,xftp使用起来方便,直接进行文件的拖拽就可以完成文件的传输,传输的速度也是非常快的,but xftp是收费的网上也有一些密钥可以使用试用版本…

1.2当然我们也可以使用命令进行文件的传输
rz命令 来传输文件 当我们输入rz的时候 会弹出一个页面

1.3选择我们用到的文件,那么搭建伪分布式集群会用到以下两个软件

2.解压文件
命令: tar

2.1完成linux的解压 需要在linux当中去配置一个java环境变量
2.2编辑配置文件 编辑之前获取解压jdk-linux的绝对路径


2.3在Java_Home去来设置你的绝对路径
export JAVA_HOME=/opt/software/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
2.4 source /etc/profile 设置完成变量之后 让环境变量生效
首先我们的计算机配置的环境变量有java | python 都会配置环境变量
环境变量都会有两种:用户变量和环境变量

.bashrc 是用户变量
/etc/profile 系统变量

3.上传hadoop包
使用命令: tar -zxvf hadoop-2.6.5.tar.gz 上传文件至虚拟机 保存在指定文件夹下 上传成功后切换到文件夹下面 查看目录

4.关于环境变量的配置
bin:关于系统的操作命令(文件的增删改查)
sbin-----系统的管理命令(集群的启动、关闭)

4.1修改配置的同时注意空格的书写，同时也要注意不要添加注释在配置的后面有可能导致那一行的代码没有生效;还有一个地方一定要放在confi的中间

5.格式化命令
当我配置完成这些命令的时候一定要让输入source,让配置的文件生效然后就可以正常使用它

6.启动命令
6.1切换我们的hadoop下面的sbin目录下面

输入 /opt/software/hadoop/sbin----start-dfs.sh
7.配置hadoop的环境变量
export HADOOP_HOME=/opt/software/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
7.1配置hadoop的环境变量可以让我们的命令在外面生效(不用在hadoop目录下面)
7.2source命令激活

8.配置完成
8.1输入你的ip和端口号50070

Tips：希望可以帮大家解决一些问题,如果有不足的地方,请及时指正。谢谢！