hadoop
文章平均质量分 68
yehao0716
这个作者很懒,什么都没留下…
展开
-
hadoop学习笔记-java操作hdfs
使用Hadoop的java api 针对HDFS进行文件上传、创建、重命名、删除操作: package hadoop.hdfs;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import java.net.URI;import java.n...原创 2014-02-26 22:53:56 · 136 阅读 · 0 评论 -
hadoop2.5.1集群搭建:(三)搭建yarn集群
搭建yarn集群========================================修改配置文件 yarn-site.xml<property><name>yarn.resourcemanager.hostname</name><value>crxy1</value></property><...2014-11-03 23:48:02 · 136 阅读 · 0 评论 -
hadoop2.5.1集群搭建:(二)搭建自动切换HA的HDFS集群
搭建自动切换HA的HDFS集群(比手工切换ha集群,多了zookeeper集群)----------------------------------------------------------------------------------------------zookeeper:hadoop2-1、hadoop2-2、hadoop2-3namenode:hadoop2-1和hadoo...2014-11-03 23:36:23 · 149 阅读 · 0 评论 -
hadoop2.5.1集群搭建:(一)搭建手工切换ha的hdfs集群
-----------------------------1.搭建手工切换HA(high availibility)的HDFS集群-----------------------------namenode:hadoop1和hadoop2datanode:hadoop3、hadoop4、hadoop5、hadoop6journalnode:hadoop1、hadoop2、hadoop3 ...2014-11-01 11:53:23 · 123 阅读 · 0 评论 -
CentOS编译hadoop2.5.1源码
环境:虚拟机的内存不低于2GB,硬盘空间不低于10GB。否则,执行maven时会出现空间不足。jdk安装1.7版本。在linux编译hadoop2.5.1源码首先安装google的protobufyum install glibc-headersyum install gcc yum install gcc-c++ yum install makeyum i...2014-11-01 10:08:05 · 80 阅读 · 0 评论 -
使用MapReduce对数据文件进行切分
有一个格式化的数据文件,用\t分割列,第2列为产品名称。现在需求把数据文件根据产品名切分为多个文件,使用MapReduce程序要如何实现?原始文件:[root@localhost opt]# cat aprData1 a1 a1112 a2 a2113 a1 a1124 a1 a...2016-05-01 22:53:52 · 2198 阅读 · 0 评论 -
hbase简介
行行健列时间戳列簇<family>限定符<qualifier>元素 HBase以表的形式存储数据,每个表由行和列组成,每个列属于一个特定的列族。 表中由行和列确定的存储单元称为一个元素,每个元素保存里同一份数据的多个版本,有时间戳来标识。行健是数据行在表中的唯一标识,并作为检索记录的主键。在HBase中访问表中的行只有三种方式...原创 2014-03-04 22:49:12 · 94 阅读 · 0 评论 -
hbase安装问题处理
启动hbase时错误信息如下: 发现是版本冲突的问题,但是我之前处理过冲突(已经做了hadoop-core-1.2.1.jar文件的覆盖),仔细看了下日志信息,原来上面还有错误信息,没有重视: 这里就估计应该是hbase-site.xml文件中配置问题了:<configuration><property><name>hbase....原创 2014-03-02 19:56:21 · 229 阅读 · 0 评论 -
去除hadoop启动时的警告信息
hadoop安装成功,启动是会有如下的警告信息: 如何去掉改警告信息呢?先去看start-all.sh文件: 这里的一段if else 可以看出 如果 libexec/hadoop-config.sh文件不存在则执行 bin/hadoop-config.sh,继续看bin/hadoop-config.sh文件: 上图可以看出 当环境变量 HADOOP_HOME_WARN_S...2014-03-01 17:14:42 · 564 阅读 · 0 评论 -
hadoop学习——arrayWritable的应用
package kpi;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSys...原创 2015-01-22 16:38:25 · 1094 阅读 · 0 评论 -
hadoop学习笔记-prc通信原理
rpc(remote procedure call)不同java进程间的对象方法调用一方称作服务端(server),一方称作客户端(client)。server端提供对象,供客户端调用,被调用的对象的方法的执行发生在server端。 rpc是hadoop框架运行的基础。 下面是一个基于hadoop的rpc框架的例子:服务端代码: package rpc;...原创 2014-02-27 20:38:32 · 264 阅读 · 0 评论 -
hadoop2.5.1集群搭建:(四)配置historyServer
1.在mapred-site中配置<property> <name>mapreduce.jobhistory.address</name> <value>hadoop2-2:10020</value> <description>MapReduce JobHistory Server ...2014-11-03 23:49:42 · 224 阅读 · 0 评论