Hadoop
luyaoguimeng
种一棵树最好的时间是十年前,其次是现在
展开
-
搭建hadoop2.6集群
1.下载解压hadoop2.6tar -zxvf hadoop-2.6.0.tar.gz2.修改hadoop-env.shexport JAVA_HOME=/usr/local/jdk1.7.0_80 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/hbase-0.98.15/lib/*3.修改yarn-env.sh、export JA原创 2016-02-20 22:57:07 · 536 阅读 · 0 评论 -
Hadoop MapReduce作业提交与初始化过程分析
一个MapReduce作业的提交与初始化过程,即从用户输入提交作业命令到作业初始化的整个过程。转载 2016-03-08 17:49:21 · 1430 阅读 · 0 评论 -
Hadoop源码分析(一)
hadoop源码一转载 2016-03-08 15:11:19 · 390 阅读 · 0 评论 -
Hadoop-IPC模型
转载自:http://zhangyu8374.javaeye.com/blog/86306IPC实现RPC的一种方法,具有快速、简单的特点。 它不像Sun公司提供的标准RPC包,基于Java序列化。 IPC无需创建网络stubs和skeletons。 IPC中的方法调用要求参数和返回值的数据类型必须是Java的基本类型,String和Writable接口的实现类,以及元素为以上类型的数组。接口方法应转载 2016-03-08 14:57:17 · 619 阅读 · 0 评论 -
Hbase使用MultiTableOutputFormat实现多表输出MapReduce job
我们经常遇到需要更新多个表从一个map中输出以减少程序的运行时间。一个简单的方法是使用一个multitableoutputformat。原创 2016-03-08 11:13:28 · 2293 阅读 · 0 评论 -
hadoop多文件格式输入(MultipleInputs)
转载自:http://blog.csdn.net/fansy1990/article/details/26267637 hadoop多文件格式输入,一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求:现有两份数据:phone:[plain] view plain copy 在CODE上查看代码片派生到我的代码片 123,good numbe转载 2016-02-21 10:43:40 · 605 阅读 · 0 评论 -
Hadoop中传递list/Map/对象型参数的传递
写MapReduce程序通常要传递各种各样的参数,选择合适的方式来传递参数既能提高工作效率,也可以避免bug的产生。使用Configuration的各种set方法,对于基本数据类型都有很好的支持,比如传递kmeans聚类算法的中心点个数。 如何传递一个对象型参数? 话说所有的对象都是由基本类型构建的,所以我们可以覆盖这个对象的toString()方法,将它的所有元素表示成字符串,然后使用Con原创 2016-02-20 22:20:29 · 2440 阅读 · 1 评论 -
使用eclipse向yarn提交job
1.向src复制hadoop4个配置文件 复制Hadoop的4个配置文件放到src目录下面:core-site.xml,hdfs-site.xml,log4j.properties,mapred-site.xml,yarn-site.xml 2.修改mapred-site.xml 增加如下内容: <configuration> <!-- 指定mr框架为yarn方式 -->原创 2016-02-21 00:27:36 · 1682 阅读 · 0 评论 -
使用eclipse连接hadoop
1.将插件放入eclipse/plugin/下 将编译好的eclipse hadoop插件hadoop-eclipse-plugin-2.6.0.jar 拷贝到eclipse安装目录下的plugin目录下,重启eclipse2.配置Hadoop安装目录 打开Window -> Preference -> Hadoop Map/Reduce,,配置右面的”Hadoop installation原创 2016-02-21 00:25:28 · 916 阅读 · 0 评论 -
hadoop集群CentOS 6.5环境配置
一.关闭防火墙,设置静态IP、hostname 1.设置ip地址(建议,不设置为DHCP)vi /etc/sysconfig/network-scripts/ifcfg-eth0IPADDR="192.168.*.14" NETMASK="255.255.255.0" GATEWAY="192.168.8.1" DNS1="8.8.8.8" DNS2="8.8.4.4"2.设置主机名 Hostn原创 2016-02-20 23:19:56 · 441 阅读 · 0 评论 -
实现Writable类型的ListWritable,SetWritable
实现Writable类型的ListWritable,SetWritable原创 2016-03-08 12:40:26 · 1716 阅读 · 0 评论