Hadoop
shijiebei2009
Java、PHP、Scala、Android、Python、ML、NLP
展开
-
windows 8.0上eclipse 4.4.0 配置centos 6.5 上的hadoop2.2.0开发环境
eclipse的hadoop插件下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin将下载的压缩包解压,将hadoop-eclipse-kepler-plugin-2.2.0这个jar包扔到eclipse下面的dropins目录下,重启eclipse即可进入windows->Preference配置根目录,这里面的hadoop insta原创 2014-11-08 21:02:03 · 2091 阅读 · 1 评论 -
Hadoop与分布式开发
hadoop上的并行应用程序开发是基于MapReduce编程框架的,MapReduce编程模型的原理是:利用一个输入的key/value对集合来产生一个输出的key/value对集合。MapReduce库的用户用两个函数来表达这个计算:Map和Reduce。 用户自定义的map函数接收一个输入的key/value对,然后产生一个中间key/value对的集合。MapReduce把所有原创 2014-10-12 19:56:08 · 1150 阅读 · 0 评论 -
Hadoop2.x介绍与源码编译
1、Hadoop 项目的四大模块Hadoop Common: The common utilities that support the other Hadoop modules.Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to原创 2014-11-02 21:52:03 · 4904 阅读 · 0 评论 -
hadoop环境搭建与测试
搭建参看:http://blog.csdn.net/w13770269691/article/details/16883663/查看集群状态:[root@master bin]# hdfs dfsadmin -report Configured Capacity: 36729053184 (34.21 GB) Present Capacity: 13322559491 (12.原创 2014-11-06 21:40:27 · 1409 阅读 · 0 评论 -
Hadoop “Unable to load native-hadoop library for your platform” error on CentOS
在NameNode节点上一切正常,并没有提示这个信息,但是在DataNode上出现如下提示信息:15/01/14 16:42:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable经原创 2015-01-14 19:51:09 · 1341 阅读 · 0 评论 -
安装ZooKeeper-3.4.6
1、下载zookeeper-3.4.6.tar,将下载的tar文件上传到Linux系统的usr目录下,其他目录亦可2、解压tar -zxvf zookeeper-3.4.6.tar zookeeper-3.4.63、进入conf/目录,运行mv zoo_example.cfg zoo.cfg,这样就得到了zoo的配置文件4、vim zoo.cfg,添加如下内容s原创 2015-01-19 11:39:45 · 2529 阅读 · 0 评论