- 博客(15)
- 资源 (1)
- 收藏
- 关注
使用MapReduce对数据文件进行切分
有一个格式化的数据文件,用\t分割列,第2列为产品名称。现在需求把数据文件根据产品名切分为多个文件,使用MapReduce程序要如何实现?原始文件:[root@localhost opt]# cat aprData1 a1 a1112 a2 a2113 a1 a1124 a1 a...
2016-05-01 22:53:52
2209
原创 hadoop学习——arrayWritable的应用
package kpi;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSys...
2015-01-22 16:38:25
1107
hadoop2.5.1集群搭建:(四)配置historyServer
1.在mapred-site中配置<property> <name>mapreduce.jobhistory.address</name> <value>hadoop2-2:10020</value> <description>MapReduce JobHistory Server ...
2014-11-03 23:49:42
230
hadoop2.5.1集群搭建:(三)搭建yarn集群
搭建yarn集群========================================修改配置文件 yarn-site.xml<property><name>yarn.resourcemanager.hostname</name><value>crxy1</value></property><...
2014-11-03 23:48:02
140
hadoop2.5.1集群搭建:(二)搭建自动切换HA的HDFS集群
搭建自动切换HA的HDFS集群(比手工切换ha集群,多了zookeeper集群)----------------------------------------------------------------------------------------------zookeeper:hadoop2-1、hadoop2-2、hadoop2-3namenode:hadoop2-1和hadoo...
2014-11-03 23:36:23
155
hadoop2.5.1集群搭建:(一)搭建手工切换ha的hdfs集群
-----------------------------1.搭建手工切换HA(high availibility)的HDFS集群-----------------------------namenode:hadoop1和hadoop2datanode:hadoop3、hadoop4、hadoop5、hadoop6journalnode:hadoop1、hadoop2、hadoop3 ...
2014-11-01 11:53:23
127
CentOS编译hadoop2.5.1源码
环境:虚拟机的内存不低于2GB,硬盘空间不低于10GB。否则,执行maven时会出现空间不足。jdk安装1.7版本。在linux编译hadoop2.5.1源码首先安装google的protobufyum install glibc-headersyum install gcc yum install gcc-c++ yum install makeyum i...
2014-11-01 10:08:05
83
原创 一致性Hash算法背景(转)
一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题,使得DHT可以在P2P环境中真正得到应用。 但现在一致性hash算法在分布式系统中也得到了广泛应用,研究过memcached缓存数据库的人都知道,memcached...
2014-03-30 23:19:27
79
原创 hbase简介
行行健列时间戳列簇<family>限定符<qualifier>元素 HBase以表的形式存储数据,每个表由行和列组成,每个列属于一个特定的列族。 表中由行和列确定的存储单元称为一个元素,每个元素保存里同一份数据的多个版本,有时间戳来标识。行健是数据行在表中的唯一标识,并作为检索记录的主键。在HBase中访问表中的行只有三种方式...
2014-03-04 22:49:12
97
原创 hbase安装问题处理
启动hbase时错误信息如下: 发现是版本冲突的问题,但是我之前处理过冲突(已经做了hadoop-core-1.2.1.jar文件的覆盖),仔细看了下日志信息,原来上面还有错误信息,没有重视: 这里就估计应该是hbase-site.xml文件中配置问题了:<configuration><property><name>hbase....
2014-03-02 19:56:21
235
去除hadoop启动时的警告信息
hadoop安装成功,启动是会有如下的警告信息: 如何去掉改警告信息呢?先去看start-all.sh文件: 这里的一段if else 可以看出 如果 libexec/hadoop-config.sh文件不存在则执行 bin/hadoop-config.sh,继续看bin/hadoop-config.sh文件: 上图可以看出 当环境变量 HADOOP_HOME_WARN_S...
2014-03-01 17:14:42
570
原创 hadoop学习笔记-prc通信原理
rpc(remote procedure call)不同java进程间的对象方法调用一方称作服务端(server),一方称作客户端(client)。server端提供对象,供客户端调用,被调用的对象的方法的执行发生在server端。 rpc是hadoop框架运行的基础。 下面是一个基于hadoop的rpc框架的例子:服务端代码: package rpc;...
2014-02-27 20:38:32
268
原创 hadoop学习笔记-java操作hdfs
使用Hadoop的java api 针对HDFS进行文件上传、创建、重命名、删除操作: package hadoop.hdfs;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import java.net.URI;import java.n...
2014-02-26 22:53:56
139
原创 webServices学习之二——axis1传递复杂类型javabean
继续axis1的实现,传递复杂类型javabean: 一、服务端: 服务端需要在server-config.wsdd文件中要发布的service 中加入 beanMapping 指定要 传递JavaBean的类型,见红色部分: <service name="MyServices" provider="java:RPC"> ...
2012-05-27 17:25:51
220
原创 webServices学习之一——axis1实现helloWorld
上周由于工作需要,通过webservices发布服务,进行数据交换。于是果断找出09年在丽水开发时的学习笔记,webservice服务采用开源组件axis1的1.3版本实现: 一,新建web项目,并修改web.xml文件,将如下代码cope到web.xml文件中 <servlet> <servlet-name>AxisServlet<...
2012-05-20 15:18:43
173
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人