![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CloudStorage
忆之独秀
Engineer
展开
-
【HBase学习之四】HBase Client超时机制优化
生产服务遇到过一个故障,大体来说就是hbase集群故障,在没有设置hbase客户端超时的情况下,导致大量线程阻塞,从而影响了tomcat对其他服务请求的正常响应(504网关超时,超时率30%),需要规避这个问题需要两个方面,1.设定客户端访问超时时间;2.服务资源隔离。本篇关注第一点。hbase.rpc.timeout:一次RPC请求的超时时间,如果某次RPC时间超过该值,客户端就会主...原创 2020-01-04 13:46:46 · 1475 阅读 · 1 评论 -
Redis缓存服务最佳实践建议规范
Redis是高性能的缓存服务组件,可以提供10万+级别的读写请求量。但是如果使用不规范或者存在大风险的操作,导致服务抖动耗时上涨,甚至出现服务不可用的情况。下面就对这些问题进行分析说明。一、key名称规范性:使用业务名作为前缀,用冒号分割。有子系统时,可以使用多个冒号或者下划线。比如:order:time:123456,data_123_456间接性:在保洁规范性的同时,也...原创 2019-06-02 22:01:11 · 3134 阅读 · 0 评论 -
【HBase学习之三】HBase RowKey设计
一、背景 HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和Timestamp(时间戳)三个维度可以对hbase中的数据进行快速定位。RowKey可以唯一标识一行记录,在HBase查询的时候,常见有以下两种方式:1)通过get方式,指定rowkey获取唯一一条记录。2)通过scan方式,设置star...原创 2019-02-13 18:48:15 · 1370 阅读 · 0 评论 -
【HBase学习之二】Java客户端示例
目录一、需求二、业务抽象三、表结构设计四、代码示例4.1 创建表4.2 put插入数据4.3 get获取数据4.4 批量插入数据(插入10个手机号)4.5 scan取一定范围内的数据(查询18887858731(数据是随机生成,通过hbase shell命令从CLI获取一个生成的手机号),2018年03月份的通话详单)4.6 filter过滤器(查询1888...原创 2018-09-19 22:48:53 · 724 阅读 · 0 评论 -
【HBase学习之一】HBase简介
目录 一、简介二、HBase使用场景2.1 历史数据存储类应用(约占七成)2.2 分析型应用(约占两成)2.3 在线读写型应用(约占一成)三、HBase数据模型四、HBase体系结构 一、简介 HBase - Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上...原创 2018-09-19 21:08:34 · 8470 阅读 · 0 评论 -
【FastDFS分布式文件系统之三】进程监控及僵死恢复
fastdfs基本的服务有nginx,fdfs_storaged,fdfs_trackerd服务,那么如何对这些进程进行监控并保证其正常工作就很重要了。首先可以接入zabbix,检查机器的进程的状态以及端口号,如果进程down掉会发出报警。同时,还可以部署monit和自己编写监控脚本来保证服务进程是正常工作的。原创 2017-02-25 21:39:56 · 3469 阅读 · 0 评论 -
云存储简介
这其实是一篇读书笔记,内容摘录自《大规模分布式存储系统-原理解析与架构实战》第12章讲到的云存储概念,跟自己工作的内容比较相关,也有比较强烈的认同感。一、云存储的概念二、云存储技术三、云平台整体架构四、云平台架构五、云存储技术体系原创 2017-01-24 22:57:42 · 10210 阅读 · 0 评论 -
分布式系统的思考及CAP理论
在讨论常见架构前,先简单了解一下CAP理论:CAP是Consistency、Availablity和Partition-tolerance的缩写。分别是指:1.一致性(Consistency):每次读操作都能保证返回的是最新数据;2.可用性(Availablity):任何一个没有发生故障的节点,会在合理的时间内返回一个正常的结果;3.分区容忍性(Partition-torleran转载 2016-09-09 20:36:27 · 9496 阅读 · 5 评论 -
【Ceph学习之一】Centos7上部署Ceph存储集群以及CephFS的安装
Ceph已然成为开源社区极为火爆的分布式存储开源方案,最近需要调研Openstack与Ceph的融合方案,因此开始了解Ceph,当然从搭建Ceph集群开始。 我搭建机器使用了6台虚拟机,包括一个admin节点,一个monitor节点,一个mds节点,两个osd节点,一个client节点。机器的配置是:> lsb_release -aLSB Version: :core-4原创 2016-07-28 11:00:12 · 9556 阅读 · 1 评论 -
【FastDFS分布式文件系统之二】:FastDFS小文件上传性能测试及Python客户端上传操作
由于要对比swift上传小文件以及fdfs上传小文件的性能,故做性能测试。原创 2016-03-08 19:29:55 · 9996 阅读 · 5 评论 -
【FastDFS分布式文件系统之一】:搭建、部署、配置
最近要提高小文件(100KB左右)的存储性能(主要是写入性能),想到了使用FastDFS因此需要对其性能做一个简单的测试,本文先介绍一下FastDFS的安装部署过程。原创 2016-03-08 18:37:34 · 4922 阅读 · 1 评论 -
【GlusterFS学习之五】:trashdir回收站目录只读权限以及白名单的设计与实现
gluster3.7版本正式发出了回收站功能,今天就对这个功能进行一个简单的介绍以及设计一个增强的功能来进一步的保证数据安全,再介绍一下对代码的一些理解。一、Trash translator for GlusterFS二、需求分析三、概要设计四、详细设计五、单元测试六、总结原创 2015-08-23 21:09:25 · 3007 阅读 · 1 评论 -
【GlusterFS学习之四】:自动在volfile中生成需要的xlator
在上一篇文章中gluster xlator的设计中,讲到通过手动修改volfile来添加相应的xlator功能,但是实际上的需求是工程在建立好之后可以在创建卷的过程中自动在volfile中生成相应的xlator,本文将探讨这个问题。一、volfile简介二、自动生成volfile添加内容原创 2015-04-24 17:50:23 · 2840 阅读 · 1 评论 -
【GlusterFS学习之一】:GlusterFS分布式文件系统的基本概念及搭建
最近因为工作的需要在接触GlusterFS,在未来的一段时间之内应该都要与之打交道,刚刚接触分布式文件系统,对很多概念和机制都不是很清楚,通过一段时间的学习有一点浅显的认识,那么就把这段时间的了解到的内容做个简单的笔记,包括GlusterFS的基本概念,以及部署GlusterFS的方法。1glusterfs基本概念的介绍2GlusterFS的部署方法3.问题总结原创 2015-04-11 15:23:46 · 6792 阅读 · 0 评论 -
【GlusterFS学习之三】:GlusterFS的audit operation xlator设计实现方案
设计含有unlink和rmdir的xlator主要涉及到两个方面,一个是audit xlator(识别unlink和rmdir操作)代码的编写和volfile的编写。整个操作的流程是这样的:1)编写代码,根据需求编写代码,比如本例的需求就是增加unlink和rmdir操作,编译生成动态链接库文件.so文件。2)将so文件拷贝到client端和server端的/usr/local/lib/glusterfs/xlator/debug/(具体根据不同版本路径有所不同)下面,使得程序在运行的时候自动加载相应模原创 2015-04-11 15:26:48 · 3091 阅读 · 1 评论 -
【GlusterFS学习之二】:GlusterFS的Self-Heal特性
本章介绍一下GlusterFS的一个重要的特性,Self-heal,也就是自修复性。原创 2015-04-11 15:26:29 · 4234 阅读 · 2 评论