自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(2)
  • 收藏
  • 关注

原创 在hadoop上跑python文件报错路径不存在

网上有很多帖子写一个简单的测试py文件,写好之后执行时有几个坑来记录一下。hadoop2.7之后streaming文件的路径在$HADOOP_HOME/share/tools/lib我执行hdfs dfs -ls /test/code/ 返回我的两个文件,并且我都给了777的权限。他依旧报错。需要在文件路径前面加上“hdfs:///” 声明文件路径。执行命令:had

2018-01-07 16:47:48 1193

原创 在vm上部署hadoop

在vm上部署hadoop成功,记录一下。已经有很多关于部署hadoop的帖子,我也看了很多,有一个坑是关于伪分布式和完全分布式。看了很多帖子,虽然关于配置的内容都不相同,但是按照帖子配置都可以成功。我的问题出在master节点成功启动DataNode没有启动,百度一下都是关于报错信息的处理,我的DataNode没有任何日志,node01配置成SecondaryNameNode可以正常启动,说明

2018-01-06 12:03:12 1716 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除