先启动机器
切换到hadoop目录下
启动成功后
查看端口
这里要主要 我是云服务器 的话 要把 端口打开 (如果要访问)
在你的云上 输入外网ip 然后 和你的 运行端口后
先 配置你的hosts文件
nn: core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:9000</value>
</property>
</configuration>
snn:
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop001:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>hadoop001:50091</value>
</property>
现在 nn 和snn 都配置好了
可以启动了
如何用 jps
上一篇 博客说过了
jps后 可以看端口号
这里要注意的是 经常所在的用户查看 如果不是经常所在的用户 会显示
process information unavailable
但是 这个进程是不是真的运行着 不行用jps 还是要用 netstat -nlp|grep
现在 配置 pid存储 目录
生产上,pid目录放/tmp真的合适吗 ? 这个是个面试题目
因为 /tmp里面 默认 会30天删除 所以 自己创建一个
mkdir -p /data/tmp
chmod -R 777 /data/tmp
但是如果是CDH 就不用关心
用mapreduce 做个 wc案例 最经典的一个例子
首先 先配置 map reduce
etc/hadoop/mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
然后启动
sbin/start-yarn.sh
jps 查看一下启动
ResourceManager rm 资源管理者
NodeManager nm 节点管理者
下一步 找到 example 这个文件例子 用模糊搜索
find ./ -name '*example*.jar'
要熟悉
bin/hdfs dfs 命令
创建2个文件 文件里 有单词 随意 单词
1.log
2.log
然后 mkdir 一个hdfs 存储文件
然后将文件移动到新建的hdfs 文件里
最后登入 云外ip +端口 查看log日志