- 博客(3)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 mapreduce中的sequenceFile类,MapFile解析
在map进行操作之后数据应该存在对应的文件中，一般这里涉及到MapFile和SequenceFile,后者主要是记录key/value的列表信息 同时是二进制处理之后的数据，直接看是没有办法的 利用命令 hadoop fs -text 文件的位置 sequence中有三种不同类型的结构 1 未压缩的key/value对 2 记录压缩的key/value对，（这里一般是只对valu
2015-09-21 18:35:06
2221
原创 hadoop+maven工程伪分布下实例运行
首先希望能够把本地的一些资源能够上传到hdfs当中，利用伪分布的格式分析工程的运行情况：执行put操作的时候出错 hadoop报错：could only be replicated to 0 nodes, instead of 1 出现错误之后利用jps查看已经启动的节点 但是发现datanode没有启动，因此stop-all所有的节点，重新格式化namenode节点，然后重新进行启动就可以了
2015-09-18 16:58:56
692
原创 mac下 eclipse+hadoop2.6.0完全配置，实例验证
最近开始自己搞hadoop实战的一些东西，之前其实已经接触了很久的mapreduce的一些方法，也写了比较多的算法了 但是一直没有很理论的研究过，准备在这个月里面完整的记录一下这方面的理论知识 简述安装配置过程 首先我的电脑是 安装的hadoop版本是2.6下载地址网上很多我就不写了 eclipse的版本 安装配置的过程就不说了，主要是首先安装jdk,然后安装hadoo
2015-09-17 21:13:51
869
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人