自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 资源 (10)
  • 收藏
  • 关注

原创 hbase 手动split region的patch

在对Region进行手工split的过程中,出现以下异常./hbase org.apache.hadoop.hbase.util.RegionSplitter -r lsmp_lottery_presplit HexStringSplitException in thread "main" java.lang.IllegalArgumentException: Wrong FS:

2013-02-25 17:50:18 5454 1

原创 HBase的hbase.rpc.timeout参数引起的问题

在高并发压力测试时,发现对一个reginserver做scan操作的时,regionserver中偶尔会输出下面的错误:2013-02-21 09:50:33,328 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server listener on 60020: readAndProcess threw exception java.io

2013-02-25 17:32:23 15216 1

原创 关系型数据库的主备的一致性问题

对于数据库的主备切换的一致性问题大致有以下几种方式:a、集群方式,如oracle的rack,缺点是比较复杂b、共享SAN存储方式,相关的数据文件和日志文件都放在共享存储上,优点是主备切换时数据保持一致,不会丢失,但由于备机有一段时间的拉起,会有短暂的不可用状态c、主备进行数据同步的方式,常见的是日志的同步,可以保障热备,实时性好,但是切换时,可能有部分数据没有同步过来,带来了数据的一致

2013-02-23 10:15:36 3343

原创 关于Hbase客户端和regionserver之间的单连接

利用Hbase的客户端进行Get或者scan操作时,在regionserver端用netstat -anp|grep 60020时,发现每一个Hbase客户端只有一个和该regionserver的连接,无论hbase client是否开启了多个线程进行并发操作。 后来翻了一下源码,果然是这样的。参见下面的源码截图,对同一个目的地的RegionServer来说,connection只有一

2013-02-17 17:45:27 5387

基于用户画像的大数据实践

用户画像的实际经验、推荐系统、大数据相关的资料 用户画像的实际经验、推荐系统、大数据相关的资料

2018-05-22

大数据平台及推荐的应用

大数据平台 hadoop spark storm 用户画像体系 推荐 广告

2015-09-04

互联网架构设计

空间换时间 数据与计算切分 多维度可用 伸缩 优化资源利用

2015-09-04

互联网架构设计理念漫谈

高并发高可用的可伸缩的架构设计的原则 空间换时间 数据与计算 多维度可用 伸缩 优化资源利用

2013-12-17

HBase分页查询的rowkey设计技巧

用户历史订单列表查询rowkey设计技巧 最左前缀原则

2013-09-20

HBase 培训ppt

HBase 架构原理,从Nosql的提出,CAP 基于列式的高效存储 强一致的数据访问 高可靠 高性能 可伸缩,自动切分,迁移 Schema free

2013-03-31

linux util包

linux的一些工具包,包括uuid-dev luuid 等

2013-01-05

TCP.IP.Sockets.in.Java.2nd.Edition

描述Socket的通讯机制,nio机制 Socket就是TCP/IP协议的一种实现.它封装了TCP/IP协议并提供了一组基于该协议的操作方法

2010-04-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除