Hadoop
飘羽wj
这个作者很懒,什么都没留下…
展开
-
Hadoop(一) 伪分布式集群搭建详解
搭建环境的步骤如下:1.修改主机名 vi /etc/sysconfig/network2.修改ip地址 vi /etc/sysconfig/network-scripts/ifcfg-eth0(网段不要乱设置,要在同一网段内) 注:个人认为由于192.168开头的ip是一个C类地址,所以在设置ip的时候要将前三位地址设置的和本机一样。3.修改...原创 2019-01-20 13:03:23 · 1237 阅读 · 0 评论 -
Hadoop启动集群后使用JPS命令数据节点不显示解决方法
出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。 解决方案1:打开core-site.xml文件,查看指定hadoop运行时产生文件的存储目录 ,每次namenode初始...原创 2019-01-17 20:58:06 · 10725 阅读 · 1 评论 -
Hadoop (二) MapReduce过程详细讲解
整体把握:1.有一个待处理的大数据,被划分成大小相同的数据库(如64MB),以及与此相应的用户作业程序。2.系统中有一个负责调度的主节点(Master),以及数据Map和Reduce工作节点(Worker).3.用户作业提交个主节点。4.主节点为作业程序寻找和配备可用的Map节点,并将程序传送给map节点。5.主节点也为作业程序寻找和配备可用的Reduce节点,并将程序传送给R...原创 2019-01-20 17:42:57 · 485 阅读 · 0 评论 -
HDFS Shell 常用命令
FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中...转载 2019-01-29 16:19:33 · 346 阅读 · 0 评论 -
Hadoop入门常见错误及解决方案
1.使用ifconfig指令发现没有分配内网ip,利用远程登录软件(SCRT)无法连接.原因:未开启VM所需要的服务如本地的DHCP等,导致无法分配ip解决方案:打开控制面板->服务->所有的VM相关的服务使其全部运行即可2.运行mapreduce时提示hadoop错误-YarnException: Unauthorized request to start conta...转载 2019-01-29 16:39:55 · 287 阅读 · 0 评论