0.1 Hadoop 伪分布式搭建 & 测试

伪分布式搭建

准备hadoop的tar包

下载地址:
https://archive.apache.org/dist/hadoop/common/

单机的免秘钥

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id root@192.168.241.210 ~/.ssh/id_rsa.pub
把公钥发送给自己

登录本机测试
ssh root@192.168.241.210
ssh root@localhost
ssh root@127.0.0.1

安装jdk

已经安装过了
没安装的可以参考软件安装

解压 并拷贝到指定目录

将Hadoop安装包上传到虚拟机，解压拷贝
解压语法:
tar -zxvf hadoop-2.6.5.tar.gz

移动解压后的hadoop到指定的/opt/sxt/目录
语法:
mv hadoop-2.6.5 /opt/sxt/

修改hadoop目录的JAVA_HOME配置信息

语法:
cd /opt/sxt/hadoop-2.6.5/etc/hadoop
vim hadoop-evn.sh 
vim mapred-env.sh
vim yarn-env.sh 

配置hadoop 的xml配置文件

配置核心配置文件

语法:
vim core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/sxt/hadoop/local</value>
</property>

hdfs://shsxt:9000 /etc/hosts 中配置了shsxt
/var/sxt/hadoop/local 需要我们手动创建目录

这里不写这个配置会放在默认目录
因为上面配置了shsxt 记得查看下hosts文件中是否已配置了

配置HDFS的配置文件

语法:
vim hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>shsxt:50090</value>
</property>

配置Slaves文件

语法:
vim slaves

这里是配置好的无须配置

localhost

环境变量添加Hadoop

语法:
vim /etc/profile

配置HADOOP_HOME
HADOOP的 /bin目录 和 /sbin目录

初始化namenode节点

语法:
hdfs namenode -format

关键点 集群id

注意: 第二次开启Hadoop的时候，千万不要格式化
格式化会重新生成NameNode的CID，导致和DataNode的CID不一致
后果就是namenode启动后没有对应的DataNode

与之前CID一样

开启集群

语法:
start-dfs.sh

jps(Java Virtual Machine Process Status Tool)是java提供的一个显示当前所有java进程pid的命令，适合在linux/unix平台上简单察看当前java进程的一些简单情况。需要先安装jdk

伪分布式测试

创建文件夹以及上传文件

创建文件夹

语法:
hdfs dfs -mkdir -p /shsxt/gy

查看集群 50070端口

http://192.168.241.210:50070/

上传文件

默认上传

示例:
hdfs dfs -put ~/nginx-1.8.1.tar.gz /shsxt/gy

参数上传

示例:
hdfs dfs -D dfs.blocksize=1048576 -put ~/apache-tomcat-7.0.61.tar.gz /shsxt/gy

tomcat

共九个
nginx

只一个