hadoop
文章平均质量分 80
oizz01
这个作者很懒,什么都没留下…
展开
-
hadoop上运行c++程序步骤
一。写一个程序保存为wordcount-simple.cpp: #include "hadoop/Pipes.hh" #include "hadoop/TemplateFactory.hh" #include "hadoop/StringUtils.hh" const std::string WORDCOUNT = "WORDCOUNT"; const std::string INP转载 2013-11-22 23:25:43 · 1197 阅读 · 0 评论 -
hadoop错误java.io.IOException at org.apache.hadoop.mapred.pipes.OutputHandler。。。
错误日志 12/09/30 18:35:26 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String). 12/09/30 18:35:26 INFO util.NativeCodeLoader: Loaded转载 2013-11-23 16:57:08 · 1078 阅读 · 0 评论 -
hadoop C++ pipes 运行实现
花了好长时间,调掉所有的bug,终于把hadoop pipes C++实现弄好了。写篇文章来祭奠下逝去的光阴,阿门。 准备: 1.按照教程:http://blog.sina.com.cn/s/blog_9c43254d0101ngug.html 安装好hadoop并可以jps到6个 2.terminal熟悉 开始: 1.先写好C++程序,这里忘记从哪copy来的一份了,反原创 2013-11-23 17:20:14 · 1028 阅读 · 0 评论 -
HDFS文件系统管理
1、启动 1.1格式化文件系统 在namenode节点,执行命令./hadoop namenode –format,格式化文件系统。 1.2启动/关闭文件系统 (1)在namenode节点执行命令“./start-dfs.sh”启动HDFS文件系统。 (2)在namenode节点执行命令“./stop-dfs.sh”关闭HDFS文件系统。 (3)在namenode节点执行命令“./ha转载 2013-11-25 11:11:23 · 804 阅读 · 0 评论 -
ubuntu 14.04 spark单机平台搭建
先吐槽,弄了一下午,午觉都没睡就搭了一个单机版的spark平台,还好有hadoop原创 2014-07-08 16:51:08 · 1619 阅读 · 0 评论 -
hadoop安装过程出现Incompatible namespaceIDs 错误解决方案
在hadoop目录底下log日志中找到namenode打开失败的日志,发现有这一句话 Incompatible namespaceIDs in /usr/local/hadoop/hdfs/data1: namenode namespaceID = 1586257983; datanode namespaceID = 1556226513 解决方案: 1.hadoop目录下bin/s原创 2013-11-22 20:50:49 · 676 阅读 · 0 评论