![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式文件系统
文章平均质量分 75
qiuchenl
这个作者很懒,什么都没留下…
展开
-
Hadoop源代码的边角料:HDFS的数据通信机制
http://blog.csdn.net/historyasamirror/article/details/6281689这阵子花了点时间读了读HDFS的源代码。有所得。不过网上关于Hadoop源代码的解析已经挺多了,所以自称为“边角料”,也就是一些零散的心得和想法。 简单而言,HDFS分为了三个部分:NameNode,处于master的地位,维护了数据在Dat转载 2013-01-04 15:20:09 · 1159 阅读 · 0 评论 -
No live nodes contain current block. Will get new block locations from namenode and retry...
1 多个用户操作hdfs和hbase时,出现以下异常,大概意思就是无法连接datanode,获取不到数据INFO hdfs.DFSClient: Could not obtain block blk_-3181406624357578636_19200 from any node: java.io.IOException: No live nodes contain current blo原创 2013-07-23 09:27:07 · 8477 阅读 · 0 评论 -
HBase建表函数createTable的几点说明
HBase建表函数提供了四个重载函数,分别是void createTable(HTableDescriptor desc)void createTable(HTableDescriptor desc, byte[] startKey,byte[] endKey, int numRegions)void createTable(HTableDescriptor desc, byte[][原创 2013-06-24 11:37:48 · 17542 阅读 · 0 评论 -
在大并发写时,HBase的HDFS DFSClient端报SocketTimeoutException的问题分析和解决
异常日志:2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_1439491087566691588_6207java.net.SocketTimeoutException: 69000 millis转载 2013-06-20 16:15:34 · 5236 阅读 · 0 评论 -
hbase 多用户写操作 regionserver突然宕掉(二)
hbase多用户写入数据 写了十个小时左右 regionserver就宕机了 查看regionserver的日志文件,异常很平常,如下:org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /hbase/t/ff0b5a311419578f75678c21d5a27148/.tmp/5708637502440582原创 2013-06-04 09:40:21 · 2628 阅读 · 0 评论 -
HBase数据写入测试
测试环境测试硬件:4核i5处理器,8G内存,1T硬盘,千兆网络测试软件:ubuntu12.10 64位,hadoop版本:0.20.205,hbase版本:0.90.5测试设置:一个master(namenode)和三台resigonServer(datanode),向HBase集群写入1千万个数据(一个数据15K左右)测试结果上图第一列和最后一原创 2013-01-25 10:39:36 · 13872 阅读 · 1 评论 -
hbase多用户入库,regionserver下线问题
近期对hbase多用户插入数据时,regionserver会莫名奇妙的关闭,regionserver的日志有很多异常:如下:org.apache.hadoop.hbase.DroppedSnapshotException: region: t,12130111020202,1369296305769.f14b9a1d05ae485981f6a8579f1324fb. at原创 2013-05-23 15:03:11 · 4610 阅读 · 1 评论 -
org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException异常处理
在hbase写入数据时,出现下列异常:org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 3465 actions: servers with issues: cloudgis2:60020, at org.apache.hadoop.hbase.client.HConnectio原创 2013-05-18 08:50:46 · 11580 阅读 · 4 评论 -
Hadoop源码分析----Client的open、seek和read操作
hadoop虽然没有提供POSIX那样的操作,但是提供的基本的文件操作open,create,delete,write,seek,read还是令用户可以方便的操作文件。下面是一段寻常的hadoop打开文件并且读取文件内容的代码:hdfs=hdfsPath.getFileSystem(conf);inFsData=hdfs.open(p);inFsData.seek(place);inFsDa原创 2013-04-24 15:53:14 · 2452 阅读 · 0 评论 -
浅析hadoop写入数据api
对于一般文件,都有满足随机读写的api。而hadoop中的读api很简单用FSDataInputStream类就可以满足一般要求,而hadoop中的写操作却是和普通java操作不一样。hadoop对于写操作提供了一个类:FSDataOutputStream,这个类重载了很多write方法,用于写入很多类型的数据:比如字节数组,long,int,char等等。像FSDataInputSt原创 2013-02-27 16:03:13 · 8583 阅读 · 0 评论 -
关于HBase删除多行的讨论
有时候会有这样的需求,需要删除指定某些行的数据。但是笔者看《HBase权威指南》好像没有Delete的filter(过滤器),所以想了一下如果实现删除指定行的方法如果知道要删除某些行的行键,那么很简单,用List就可以完成这个功能如果要删除的行在表中是连续的,也就是删除指定范围的行,但是你还不知道这个范围内所有的行键,比如一个表中行键11-19的行,但是表中只有11,13,16。这时可原创 2013-03-21 09:13:00 · 2917 阅读 · 0 评论 -
HBase性能调优
配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regions重新balance,让其他存活的RegionServer接管.调优:转载 2013-03-02 18:02:48 · 710 阅读 · 0 评论 -
HBase 系统架构
HBase 系统架构HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的,分布式的,多版本的,面向列的存储模型。它存储的是松散型数据。HBase特性:1 高可靠性2 高效性3 面向列4 可伸缩5 可在廉价PC Server搭建大规模结构化存储集群HBase是Google转载 2013-03-02 16:20:33 · 875 阅读 · 0 评论 -
关于hadoop的API写文件的备份数问题
今天用hadoop API打算往hadoop集群创建几个文件,然后写入数据试试,结果问题发生了,我的配置文件备份数是1,但是不管我怎么创建,创建的文件备份数都是3。代码如下: public static void testHDFS() throws IOException{ String str="hdfs://cloudgis4:9000/usr/tmp/"; Path path原创 2013-01-21 17:10:52 · 1489 阅读 · 0 评论 -
HDFS如何使用多个磁盘
1 fs.default.nameTo run HDFS, you need to designate (指派)one machine as a namenode. In this case, theproperty fs.default.name is a HDFS filesystem URI, whose host is the namenode’shostname or I转载 2013-07-26 15:01:27 · 1261 阅读 · 0 评论