Mac OS 系统安装Hadoop

最新推荐文章于 2022-06-14 17:07:06 发布
最新推荐文章于 2022-06-14 17:07:06 发布
阅读量166 收藏
点赞数
分类专栏： hadoop 文章标签： 大数据 java 操作系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chaoshcp/article/details/84408889
版权
最近在学习Hadoop，在学习伪分布式，单节点配置时总是报下面的错误。 

2013-03-17 15:14:27,166 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/hadoop-huang/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:696)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)

	at org.apache.hadoop.ipc.Client.call(Client.java:1070)
	at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
	at com.sun.proxy.$Proxy5.addBlock(Unknown Source)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
	at com.sun.proxy.$Proxy5.addBlock(Unknown Source)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3510)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3373)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2589)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2829)

2013-03-17 15:14:27,166 WARN org.apache.hadoop.hdfs.DFSClient: Error Recovery for block null bad datanode[0] nodes == null
2013-03-17 15:14:27,166 WARN org.apache.hadoop.hdfs.DFSClient: Could not get block locations. Source file "/tmp/hadoop-huang/mapred/system/jobtracker.info" - Aborting...
2013-03-17 15:14:27,166 WARN org.apache.hadoop.mapred.JobTracker: Writing to file hdfs://localhost:9000/tmp/hadoop-huang/mapred/system/jobtracker.info failed!
2013-03-17 15:14:27,166 WARN org.apache.hadoop.mapred.JobTracker: FileSystem is not ready yet!
2013-03-17 15:14:27,169 WARN org.apache.hadoop.mapred.JobTracker: Failed to initialize recovery manager. 
org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/hadoop-huang/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:696)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)

	at org.apache.hadoop.ipc.Client.call(Client.java:1070)
	at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
	at com.sun.proxy.$Proxy5.addBlock(Unknown Source)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
	at com.sun.proxy.$Proxy5.addBlock(Unknown Source)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3510)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3373)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2589)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2829)
2013-03-17 15:14:37,170 WARN org.apache.hadoop.mapred.JobTracker: Retrying...
2013-03-17 15:14:37,181 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/hadoop-huang/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:696)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)

	at org.apache.hadoop.ipc.Client.call(Client.java:1070)
	at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
	at com.sun.proxy.$Proxy5.addBlock(Unknown Source)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
	at com.sun.proxy.$Proxy5.addBlock(Unknown Source)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3510)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3373)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2589)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2829)


这个原因就是由于没有开启ssh远程登陆造成，在系统偏好设置-共享里选择远程登录就可以。
chaoshcp
关注
专栏目录
Mac OS X上下载安装和配置hadoop指南
weixin_41952465的博客
08-20 849
Mac OS X上下载安装和配置hadoop指南jdk下载下载hadoop添加Hadoop环境变量修改Hadoop的配置文件启动Hadoop jdk下载 [可以在这个网盘去下载] https://pan.baidu.com/s/1CVuWES-F1PoaV63oL3nCHQ 因为没有orecal的账号，所以可以在这个网盘去下载，下载完成后双击打卡，按照步骤进行操作即可。 安装完成后，更改系统配置 vim ~/.bash_profile #这里的路径就是jdk所安装的路径，一般都是默认在此路径下，可以自行查
MAC 系统安装 Hadoop2.7.3
jiangyonggang1的博客
02-12 1596
MAC 系统安装 Hadoop2.7.3 1.查看是否安装了Java 使用Item工具，运行java -version 命令，可以查看java版本. ![实际操作截图](https://img-blog.csdnimg.cn/20190212142825515.jpeg) ...
Mac系统安装Hadoop
菜鸟码农升职记
05-05 1770
我的系统是
在Mac OS上安装Hadoop1.0.0
Lin_litao的专栏
07-01 689
1.先安装javaSE,这里不详细说明； 2.去官网下载hadoop，这里我下的1.0.0版本； 3.设置Hadoop环境变量 我们打开〜/.profile，在结件处加上如下两行脚本(环境变量的值根据你自己的实际情况填写)export HADOOP_HOME=/users/apple/hadoop export PATH=$PATH:$HADOOP_HOME/bin export
在Mac上安装DOS
weixin_44295433的博客
05-24 1477
具体见dmg 链接:https://pan.baidu.com/s/1pK6D19-qGS-vWWt4OXLLyQ 密码:0cz3
IOS CocoaPods的安装与使用教程
weixin_34296641的博客
12-16 70
CocoaPods的安装步骤： 1.先配置Ruby环境： 若已安装Ruby，请升级Ruby环境 sudo gem update --system 若没有安装，则请看下面，以下代码区域，带有 $ 打头的表示需要在控制台（终端）下面执行（不包括 $ 符号） 步骤1 － 安装 RVM RVM 是干什么的这里就不解释了，后面你将会慢慢搞明白。 　　　　$ cu...
Hadoop个人心得笔记之上传文件错误
LiuY521的博客
06-28 2039
Hadoop上传文件错误 目录 Hadoop上传文件错误org.apache.hadoop.ipc.RemoteException(java.io.IOException) 1.文件上传失败： 2.解决方案： 1、停止集群（切换到/sbin目录下） 2、删除在hdfs中配置的data目录（ 3、重新格式化namenode...
mac上基于docker搭建hadoop集群
01-20
1、拉取centos8的镜像 在用户目录下： 2、构建集群子网 按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 ...OS hostname IP Centos8 hadoop-master 172.1
hadoop-eclipse-plugin-2.4.0 mac os.jar
07-06
环境配置是：hadoop 2.4.0+ eclipse 4.3.2+mac os+10.9.4 eclipse插件
mac下编译hadoop3.1.4源码生成的native库
01-25
至此，你已完成在Mac环境下编译Hadoop 3.1.4源码生成的本地库，并成功将其集成到你的Hadoop安装中。如果你在过程中遇到问题，可以通过留言寻求帮助，或者查阅Hadoop的官方文档和社区资源获取更多支持。
hadoop启动过程中遇到的问题
沉底的石头
06-08 5527
http://mail-archives.apache.org/mod_mbox/hadoop-hdfs-user/201207.mbox/%3C50097B6C.8060704@cs.uni-kassel.de%3E http://blog.csdn.net/huoyunshen88/article/details/9089797 2013-06-08 15:04:15,62
MAC系统安装Hadoop
wttey的博客
06-14 6169
mac系统hadoop安装与配置
spm，afni的安装和使用心得
Kingbeful的专栏
09-20 1万+
原文地址： http://hi.baidu.com/luo_xiang/blog/item/8866662990d5f0fb99250afb.html一、Spm的安装与启动：先安装matlab，然后将spm复制到matlab下的一个文件夹（Spm2需要和matlab6.0或以上版本配合使用）。启动matlab，首先set path，然后在matlab命令窗口中输入spm即可启动，然后选择f
Mac下安装Hadoop
阿甘兄
02-18 6913
文章目录01 引言02 配置ssh环境02 安装与配置Hadoop03 启动Hadoop并验证3.1 启动Hadoop3.2 启动yarn服务 01 引言 如果想在Mac下安装Hadoop而且让Hadoop能正常运行，那安装之前需要先安装java，具体可以参考之前写的博客《Mac下安装JDK11（国内镜像）》。 好了，现在开始讲解如何在Mac环境下安装Hadoop。 02 配置ssh环境 在Mac下如果想使用Hadoop，必须要配置ssh环境， 如果不执行这一步，后面启动hadoop时会出现Connecti
MAC PRO OS 安装 Hadoop 3.3.1 [防止踩坑]
Eillfyh的博客
11-23 2326
先安装好Homebrew 苹果电脑 常规安装脚本（推荐 完全体 几分钟安装完成）： /bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh) 苹果电脑 极速安装脚本（精简版 几秒钟安装完成）： /bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)" speed 其次装好JAVA
Hadoop运行报错，进入安全模式
小松鼠的博客
10-25 4402
在Hadoop运行时报如下错误： 18/10/24 03:16:30 INFO client.RMProxy: Connecting to ResourceManager at hdp-node-01/192.168.186.101:8032 18/10/24 03:16:32 INFO mapreduce.JobSubmitter: Cleaning up the staging area ...
ERROR [org.apache.hadoop.security.UserGroupInformation] - PriviledgedActionExcep
George的博客
10-20 1429
换了个环境，出现此异常 016-10-18 23:54:01,334 WARN [org.apache.hadoop.util.NativeCodeLoader] - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 2016-10-18 2...
Hadoop认证Kerberos--UserGroupInformation.doAs
Alecor的博客
07-29 2966
如果你只是单纯地使用 Hadoop 的 MapReduce, 也许压根就不需要了解还有个 UserGroupInformation. 当你需要在 Yarn 上做些其它工作时，就必须与 UserGroupInformation 打交道。 UserGroupInformation保存hadoop用户及组信息 此类包装JAAS Subject，并提供确定用户的用户名和组的方法。它支持Windows，Unix和Kerberos登录模块。 常用代码 String userCode="user1"; String ke
Ubuntu上安装Hadoop环境中org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException
热门推荐
木小鱼的笔记
03-13 1万+
在安装Hadoop的过程中，碰到了若干问题的解决，故记录在这个blog之中。
Mac上Hadoop 2.6.0与Hive 1.2.0的安装与配置教程
本文档主要介绍了如何在Mac OS X Yosemite系统上安装并配置Hadoop 2.6.0与Hive 1.2.0的详细步骤。作者首先强调了在进行此操作之前，Hadoop需要已成功安装并处于运行状态，不论是伪分布式模式还是全分布式模式都可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值