- 博客(18)
- 资源 (5)
- 收藏
- 关注
原创 HTablePool 连接池源码分析
public class HTablePool { //存放多个htable的ConcurrentMap,这里用ConcurrentMap是为了线程安全 //LinkedList放的是同一hatable多个对象的链表 private final ConcurrentM
2011-09-28 19:53:20 2462 1
原创 Hbase利用HTablePool实现Htable连接池
之前通过直接new Htable方式对hbase表进行操作,会经常抛出NIOServerCnxn: Too many connections from /10.202.50.79 - max is 60 异常解决最后经过分析为Htable创建过多,而每创建一个htable
2011-09-28 19:28:49 7275 2
转载 hbase 交流记录
Q: .meta.和root表是否要分裂?A: meta表和root表不会分裂,代码中有所判断。Q: 如果不分裂,那么都只有1个region?A: ...(查看代码后)A: meta和root表是要split的,.m
2011-09-22 11:22:35 1051
转载 Bigtable探秘 Google分布式数据存储系统DFS(2)
5 介绍Bigtable包括了三个主要的组件:链接到客户程序中的库、一个Master服务器和多个Tablet服务器。针对系统工作负载的变化情 况,BigTable可以动态的向集群中添加(或者删除)Tablet服务器。Master服务器主要负责以下工作:为Table
2011-09-22 11:14:46 1616
转载 Bigtable探秘 Google分布式数据存储系统DFS(1)
摘要Bigtable是一个分布式的结构化数据存储系统,它被设计用来处理海量数据:通常是分布在数千台普通服务器上的PB级的数据。Google 的很多项目使用Bigtable存储数据,包括Web索引、Google Earth、Google Finance。这些应用对Bigta
2011-09-22 11:12:51 1125
转载 java 操作solr api实例 非http请求方式
第一步:在tomcat的conf目录下新建Catalina目录,在Catalina目录下新建localhost目录,在localhost目录下新建solr.xml solr.xml内信息如下: Java代码 "/Volumes/mac
2011-09-16 15:25:02 4666 1
转载 HBase入门篇1-为什么hbase,hbase特性、优点,hbase基础
HBase是什么? HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,
2011-09-15 11:06:49 4813
转载 HBase入门篇2-Java操作HBase例子
本篇文章讲述用HBase Shell命令 和 HBase Java API 对HBase 服务器 进行操作。在此之前需要对HBase的总体上有个大概的了解。比如说HBase服务器内部由哪些主要部件构成?HBase的内部工作原理是什么?我想学习任何一项知识、技术的态度不能只是知道如
2011-09-15 11:05:55 1464
转载 HBase入门篇3-hbase 配置文件参数设置及优化
前两篇文件分别说到了我在学习HBase中的一些入门经验,而《HBase 入门3》这篇文章浅显的从几个方面谈谈HBase的一些优化技巧,只能作为我学习笔记的一部分,因为学多了怕忘,留给自己以后看看。1 修改 linux 系统参数 Linux系统最大可打开文件
2011-09-15 11:05:18 5135 1
转载 HBase入门篇4–存储
前几篇文章讲述了 HBase的安装、Hbase命令和API的使用、HBase简单的优化技巧,《HBase入门篇4》这篇文章是讲述把HBase的数据放在HDFS上的点滴过程。目前对与HBase我是一个绝对的新手,如果在文章中有任何我理解有错误的地方请各位指正,谢谢。Ok,进
2011-09-15 11:04:22 1166
转载 HBase入门5(集群) -压力分载与失效转发
在上一篇关于HBase的文章中曾经讲述过HBase在分布式中的架构,这篇文章将会讲述HBase在分布式环境中是如何排除单点故障的(SPFO),做一个小实验讲述HBase在分布式环境中的高可用性,亲眼看到一些现象,延伸一些思考的话题。先来回顾一下HBase主要部件:
2011-09-15 11:03:46 840
转载 Hbase入门6 -白话MySQL(RDBMS)与HBase之间
我的废话1: 任何一项新技术并非救命稻草,一抹一擦立马药到病除的百宝箱,并非使用Spring或者NOSQL的产品就神乎其神+五光十色,如果那样基本是扯淡。同类 型产品中不管那种技术最终要达到的目的是一样的,通过新的技术手段你往往可能避讳了当前你所需要面对的问题,但过后新的
2011-09-15 11:02:59 1066
转载 MySQL向Hive/HBase的迁移工具
Apache Hive是目前大型数据仓库的免费首选产品之一,使用Apache Hive的人是不会期望在小数据量上做什么文章,例如把MySQL中的数据搬到Hive/HBase中去,那样的话原先很快能执行完毕的SQL,估计在Hive上运行跟原来相比时间延长10倍都不止。但如果你有My
2011-09-15 11:02:04 757
转载 HBase入门7 -安全&权限
我的废话: 大年三十夜,看春晚实在是太无聊了,整个《新闻联播》的电视剧版本,还不如上上网,看看资料,喝喝老酒,写点东西来的快活。 近2年来云计算的话题到目前为止风风火火从来没有平静过,一直是大家嘴边讨论的热门话题,人们期望运用云计算提供可靠、稳定、高速的计算
2011-09-15 11:01:19 822
转载 基于Hbase存储的分布式消息(IM)系统-JABase
前段日子看了在highscalability.com上一篇介绍facebook消息系统的文章,一夜之后被无数个网站无数次的转载,现如今facebook的任何一个话题都会引起很多人的关注,但我对只对这文章里面没有说明的部分比较感兴趣,系统里是怎么获得即时消息的?PHP监听器?开启很
2011-09-15 11:00:32 1158
原创 ResultSet may only be accessed in a forward direction 问题解决
if(this.rs.isFirst()){ this.rs.last();//抛该异常 PropertiesUtil.setProperty("UpdateUserInfo.beginTime", df2.format(df.parse(this.getFi
2011-09-13 17:11:15 1152
转载 hbase中的缓存的计算与使用
hbase中的缓存分了两层:memstore和blockcache。 其中memstore供写使用,写请求会先写入memstore,regionserver会给每个region提供一个memstore,当memstore满64MB以后,会启动flush刷新
2011-09-09 10:56:00 1063
原创 zookeeper NIOServerCnxn: Too many connections from /10.202.50.79 - max is 60 异常解决办法
原因:客户端程序通过zookeeper访问hbase的连接数超过设置的默认链接数,连接数不够用导致解决办法:设置hbase-site.xml配置文件,添加如下属性 hbase.zookeeper.property.maxClientCnxns 300
2011-09-08 10:46:18 4909
nutch1.3在myclipse部署工程源码
2011-10-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人