![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nosql
文章平均质量分 87
bluekeyv
致力于hadoop生态系统,专注hbase应用与研究
展开
-
hbase中服务器时间不同步造成的regionserver启动失败
今天配置hbase的时候发现有几台机器的regionserver启不来。报错如下: at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39) at sun.reflect.Del原创 2011-05-09 17:10:00 · 5032 阅读 · 0 评论 -
MR操作hbase的一点心得(含hbase表拷贝样例代码)
最近在写基于hbase的MR程序。总结如下: 1、使用TableMapper来读取表 2、写入表的第一种方式是用TableMapReduceUtil.initTableReducerJob的方法,这里既可以在map阶段输出,也能在reduce阶段输出。区别是Reduce的class设置为null或者实际的reduce 以下是一个表copy的例子: package原创 2011-11-22 17:22:26 · 14804 阅读 · 0 评论 -
Ganglia安装详解(CentOS_5.5_Final版)
1. 安装rrdtool1.1. 安装依赖包Ø 拷贝CentOS软件包将CentOS安装光盘中的rpm包拷贝到/root/下,以备使用。Ø 安装zlib开发包rpm -ivh /root/CentOS/zlib-devel-1.2.3-3.x86_64.rpm原创 2011-04-29 15:13:00 · 5423 阅读 · 4 评论 -
“云计算”的双刃剑只会出现在中国
刚吃完饭,在cnbeta上就看到一篇文章,名叫“云计算”的双刃剑:FBI探员不必知会嫌犯即可随意搜查嫌犯的谷歌Docs账户。看完之后唯一的感想是,这篇文章是想说明Google守法呢,还是想说明Google其实是作恶的?我不愿妄加揣测说是后一种目的,我们姑且认为文章其实是想提醒读者,Google其实是很守法的,Google不是暴力抗法者。 有人要问了,Google前端时间不是就是因为政府审查的原因才推出大陆么,现在为啥美国FBI要什么它给什么?两面派阿?其实不然。说起这个,我们就得先看看原文是如何陈述的。转载 2010-06-23 15:43:00 · 1175 阅读 · 0 评论 -
移动互联网十大前景看好业务
一、 移动社交将成为客户数字化生存的平台 在移动网络虚拟世界里面,服务社区化将成为焦点。社区可以延伸出不同的用户体验,提高用户对企业的黏性。3G商用的明朗化和手机本身所具备的优势将成为移动SNS发展的动力。宽带的增加将促使移动互联网的服务创新,用户的许多需求将在手机上得到满足; 而手机具有随时随地沟通的特点,从而使SNS在移动领域发展具有一定的先天优势。核心以个人空间(相册/日记)、多元化沟通平台、群组及关系为核心的移动SNS手机社交将发展迅猛。 二、 移动广告将是移动互联网盈利主要来源 手机逐转载 2009-11-05 15:26:00 · 941 阅读 · 0 评论 -
云计算好文
一、“网格计算”与“云计算” 刚进计算机学院时,听到最多的一个词就是“网格计算”,而在我还没弄清“网格计算”到底是什么的时候,“云计算”已不知不觉成为新的热门。第一次听到“云计算”这个词是因为自己想备份电脑上的一些资料,但身边又找不到移动硬盘和光盘,去找同学借光盘时,同学说可以试试在线备份,在线搜索后,我惊奇的发现自己早已经在云端之中了,原来我用Gmail来发送邮件时,已经是在云端环境中存放自己的资料了。在刚听到“云计算”这个名词时,我对它与网格计算间的差别还是很模糊的,当时在我看来,两者似乎都是通过把分转载 2009-12-02 15:37:00 · 807 阅读 · 0 评论 -
虚拟机下linux+java+hadoop+hive环境搭建
最近在接触hadoop的项目,把总结出的配置方法写出来纪念一下,也方便后来人快速玩转hadoop。 首先在虚拟机中安装linux,我是用的redhad,然后装jdk:http://yushan.javaeye.com/blog/261148,接下来是关键部分: 一、hadoop安装:下载release版本hadoop0.20.1,解压到/home/hadoop/ 。 1.命令行下运行 #mkdir input cp conf/*.xml input bin/hadoop原创 2009-10-19 15:35:00 · 3155 阅读 · 0 评论 -
晕计算中的一点云
看来搞咱们IT的就围绕着3样东西打转,存储,计算,传输。冯氏计算机体系多年来没有人突破过。 其实一直没搞懂数据结构和算法究竟怎样的才算是好的。今天突然有点想法,能够将硬件条件和产品需求完美结合的数据结构和算法才是好的。 所以数据结构和算法不是凭空想出来的,一定是从硬件和产品需求角度来考虑的。从硬件上现在有两个基本方向。 第一个是基于单机中的硬盘,CPU,内存来进行算法优化,比如硬盘的寻道速度远远低于顺序访问速度,这点催生了列式数据库的设计。CPU通过中断机制来实现伪多原创 2010-04-23 15:56:00 · 788 阅读 · 0 评论 -
列式数据库存储
网址: http://www.penglixun.com/tech/database/column-oriented_dbms_analyse.html 这些天看数据仓库的内容,发现一个新内容——列式存储。曾经有想过把数据库行列转置作成索引,不过没有深想,没想到列式数据库已经开始发展起来了。 首先看下WIKI上对列式数据库的解释: 列式数据库是以列相关存储架构进行数据存储的数据库,主要适合与批量数据处理和即席查询。相对应的是行式数据库,数据以行相关的存储体系架构进行空间分配,主要适合与小批量转载 2010-03-30 15:32:00 · 5746 阅读 · 0 评论 -
列存数据库学习心得
数据库以行、列的二维表的形式存储数据,但是却以一维字符串的方式存储,例如下表: EmpId Lastname Firstname Salary 1 Smith Joe 40000 2 Jones Mary 50000 3 Johnson Cathy 44000 这个表存储在电脑的内存和硬盘中。数据库必须把这个二维表存储在一系列的一维“字节”中,又操作系统写到内存或原创 2010-04-23 15:34:00 · 3889 阅读 · 0 评论 -
一致性算法研究
一、Master/slave 这个是多机房数据访问最常用的方案,一般的需求用此方案即可。因此大家也经常提到“premature optimization is the root of all evil”。 优点:利用mysql replication即可实现,成熟稳定。 缺点:写操作存在单点故障,master坏掉之后slave不能写。另外slave的延迟也是个困扰人的小问题。 二、Multi-master Multi-master指一个系统存在多个master, 每个master原创 2010-03-30 15:35:00 · 1216 阅读 · 0 评论 -
Cassandra分析
一、 简介 Apache Cassandra是一套开源分布式Key-Value存储系统。它最初由Facebook开发,用于储存特别大的数据。Facebook目前在使用此系统。 主要特性: 分布式 基于column的结构化 高伸展性 Cassandra的主要特点就是它不是一个数据库,而是由一堆数据库节点共同构成的一个分布式网络服务,对Cassandra 的一个写操作,会被复制到其他节点上去,对Cassandra的读操作,也会被路由到某个节点上面去读取。对于一个Cassandra群集来说,扩展性能原创 2011-05-18 23:18:00 · 9780 阅读 · 0 评论 -
hbase使用、运维、改进(不断更新)
刚刚看了google jeff dean 在新的一年里发表的演讲,讲到各种系统配合使用完成海量数据处理任务。深有感触:http://t.cn/zYE89gn 。2013年,依然会专注hbase研究,并以此为基础扩展,对hbase衍生的一些特性和产品进行深入研究,例如replication、phoenix。从传统的离线计算(hadoop、hive),到实时流式计算系统(storm、s4),创新应用性原创 2013-03-07 15:27:06 · 12561 阅读 · 6 评论