- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 在eclipse将mapreduce程序运行在hadoop集群中
1.将集群配置文件：core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site,xml拷贝至项目的src目录下 2.将本项目打成JAR包：xxx.jar 3.在mapreduce程序main方法中添加代码：job.setJar("/xxx.jar")//jar包所在文件路径 4.其他套路性代码编写好即可运行。 5.运行时所遇错误 一不小心忘
2017-06-27 12:55:00
719
原创 azkaban安装与使用
1. 下载azkaban3.25的”source code.tar.gz”: https://github.com/azkaban/azkaban/releases 2. 解压缩：azkaban-3.25.0.tar.gz，进入azkaban根目录：cd azkaban-3.25.0 3. 执行命令：./gradlew installDist 生成相关文件
2017-06-22 13:56:17
1661
原创 hadoop集群搭建问题集锦
1.集群启动后，各DataNode成功启动但是在查询LiveNodes时与实际数量（3个）不符 查看日志所示错误： 2017-06-06 16:35:08,850 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-749503087-220.192.1
2017-06-06 17:03:35
1399
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人