Hadoop笔记-02

Hadoop笔记(day 02)

___________________________________

使用webui访问hadoop hdfs

1.hadoop webui
    http://localhost:50070/
2.data node
    http://localhost:50075/
3.2nn
    http://localhost:50090/

Fully distributed mode(完全分布式模式)

1.准备5台客户机
2.安装jdk
3.配置环境变量
4.安装hadoop
5.配置环境变量
6.安装ssh
7.配置文件
    [/soft/hadoop/etc/hadoop/core-site.xml]
    fs.defaultFS=hdfs://s100:8020/

    [/soft/hadoop/etc/hadoop/hdfs-site.xml]
    dfs.replication=3

    [/soft/hadoop/etc/hadoop/yarn-site.xml]
    yarn.resourcemanager.hostname=s100

    [/soft/hadoop/etc/hadoop/slaves]
    s101
    s102
    s103
8.在集群上分发以上文件
    xsycn /soft/hadoop/etc/hadoop/core-site.xml
    xsycn /soft/hadoop/etc/hadoop/hdfs-site.xml
    xsycn /soft/hadoop/etc/hadoop/yarn-site.xml
    xsycn /soft/hadoop/etc/hadoop/slaves

scp

安全远程文件复制程序,基于ssh
符号链接编程变成文件
支持来那个远程主机间的复制
$>scp -r ~/xxx.conf ubuntu@s103:/home/ubuntu/ //递归复制 

rsync

远程同步工具,主要用于备份和镜像.
支持链接,设备等等
速度快,避免复制相同内容文件数据.
不支持两个远程主机间的复制.
rsycn -rvl ~/hello.c root@s102:/home/ubuntu/

自定义脚本xsycn(文件分发)

循环复制文件到所有节点的相同目录下.
[/usr/local/bin/xsycn]

#!/bin/bash
pcount=$#;
if      (( pcount < 1 ));then
echo args is null;
exit;
fi

##参数
p1=$1;
fname=`basename $p1`;
pdir=`dirname $p1`;

#获取上级目录的绝对路径
pdir=`cd -P $(dirname $p1);pwd`

#获取当前用户
cuser=`whoami`;

#循环
for((host=100;host<105;host=host+1));do
echo -------- s$host --------;
echo rsycn -rvl $pdir/$fname $cuser@s$host:$pdir
done

自定义脚本xcall(命令执行)

循环复制文件到所有节点的相同目录下.
[/usr/local/bin/xcall]

#!/bin/bash
pcount=$#;
if      (( pcount < 1 ));then
echo args is null;
exit;
fi

#循环
for((host=100;host<105;host=host+1));do
echo -------- s$host --------;
echo ssh s$host $@
done

整理hadoop的所有类库和配置文件

1.解压缩hadoop.tar.gz