hadoop
Link_999
少年没有乌托邦,心向远方自明朗
展开
-
hadoop配置日志的聚集
应用运行完成以后,将程序运行日志信息上传到HDFS系统上。开启日志聚集功能,需要重新启动NodeManager、ResourceManager和HistoryManager。开启日志聚集功能具体步骤如下:1、配置yarn-site.xml进入etc目录下cd etc/hadoop/vi yarn-site.xml把下面内容配置到yarn-site.xml<!--日志聚集功能使能--><property><name>yarn.log-aggr原创 2020-09-12 15:34:30 · 326 阅读 · 0 评论 -
hadoop单节点 配置历史服务器
1、配置mapred-site.xml先进入etc目录cd etc/hadoop/vi mapred-site.xml在该文件里面增加如下配置。(将karry01改为自己的节点)<!--历史服务器端地址--><property><name>mapreduce.jobhistory.address</name><value>karry01:10020</value></property><!原创 2020-09-12 13:09:09 · 115 阅读 · 0 评论 -
hadoop单节点配置yarn-site.xml和mapred-site.xml
先进入hadoop目录etc下1、配置yarn-site.xmlvi yarn-site.xml最后一个value的值要改成自己的<!--Reducer获取数据的方式--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!--指定YARN的Resourc原创 2020-09-12 00:03:02 · 1013 阅读 · 0 评论 -
Hadoop安装包目录结构
https://blog.csdn.net/henrrywan/article/details/88343529转载 2020-09-11 23:00:47 · 225 阅读 · 0 评论 -
详解hadoop单词统计案例(word count)
首先,进入hadoop目录下cd hadoop-2.7.0/然后,在本地新建一个目录mkdir coninput在coninput 文件夹下新建一个文件cd coninput/touch wc.test往文件里添加任意单词后并保存,返回上一级目录新建一个HDFS目录bin/hdfs dfs -mkdir /user/root/temp将本地文件上传到 HDFS目录下bin/hdfs dfs -put coninput/wc.test /user/roo.原创 2020-09-08 22:43:36 · 696 阅读 · 0 评论 -
打开hadoop的网页web端
先启动集群start-dfs.sh jps 测试一下是否启动方法一:输入 虚拟机ip:50070方法二:输入设置好的名称:50070原创 2020-09-08 21:35:22 · 12581 阅读 · 0 评论 -
hadoop免密登录设置
主节点test00,从节点test01主节点执行以下命令,回车到结束,生成免秘钥ssh-keygen -t rsa 查看是否生成 .ssh 文件ls -lacd .sshls -la返回根目录cd ~ scp .ssh/id_rsa.pub [email protected]:~测试是否能直接登录从节点ssh test01从节点执行以下命令,回车到结束,生成免秘钥ssh-keygen -t rsals -lallcat i.原创 2020-07-14 00:03:24 · 327 阅读 · 0 评论