hadoop map reduce 跑个案例 挖坑二

先启动机器
切换到hadoop目录下

启动成功后

查看端口
这里要主要 我是云服务器 的话 要把 端口打开 （如果要访问）

在你的云上 输入外网ip 然后 和你的 运行端口后
先 配置你的hosts文件

nn: core-site.xml
<configuration>
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop001:9000</value>
   </property>
</configuration>
snn:
<property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>hadoop001:50090</value>
</property>
<property>
             <name>dfs.namenode.secondary.https-address</name>
            <value>hadoop001:50091</value>
</property>

现在 nn 和snn 都配置好了

可以启动了

如何用 jps
上一篇 博客说过了
jps后 可以看端口号
这里要注意的是 经常所在的用户查看 如果不是经常所在的用户 会显示
process information unavailable
但是 这个进程是不是真的运行着 不行用jps 还是要用 netstat -nlp|grep
现在 配置 pid存储 目录

生产上，pid目录放/tmp真的合适吗 ？ 这个是个面试题目
因为 /tmp里面 默认 会30天删除 所以 自己创建一个
mkdir -p /data/tmp
chmod -R 777 /data/tmp
但是如果是CDH 就不用关心

用mapreduce 做个 wc案例 最经典的一个例子
首先 先配置 map reduce
etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

然后启动

 sbin/start-yarn.sh

jps 查看一下启动
ResourceManager rm 资源管理者
NodeManager nm 节点管理者

下一步 找到 example 这个文件例子 用模糊搜索

find ./ -name '*example*.jar'

要熟悉

bin/hdfs dfs 命令

创建2个文件 文件里 有单词 随意 单词
1.log
2.log
然后 mkdir 一个hdfs 存储文件
然后将文件移动到新建的hdfs 文件里
最后登入 云外ip +端口 查看log日志