- 博客(9)
- 收藏
- 关注
转载 Hbase Region 重点解析
Region的概念Region是HBase数据管理的基本单位。数据的move,数据的balance,数据的split,都是按照region来进行操作的。region中存储这用户的真实数据,而为了管理这些数据,HBase使用了RegionSever来管理region。一个表中可以包含一个或多个Region。每个Region只能被一个RS(RegionServer)提供服务,RS可以同...
2019-12-04 10:23:54
258
转载 使用LVS实现负载均衡原理及安装配置详解
负载均衡集群是 load balance 集群的简写,翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx、lvs、haproxy,商业的硬件负载均衡设备F5、Netscale。这里主要是学习 LVS 并对其进行了详细的总结记录。一、负载均衡LVS基本介绍 LB集群的架构和原理很简单,就是当用户的请求过来时,会直接分发到Director Server上,然后它把用户的请求根
2017-12-01 12:12:29
173
转载 Linux下MySQL数据库常用基本操作
1、显示数据库 show databases;2、选择数据库use 数据库名;3、显示数据库中的表show tables;4、显示数据表的结构 describe 表名; 5、显示表中记录 SELECT * FROM 表名 6、建库 create databse 库名; 7、建表creat
2017-10-30 17:59:30
146
转载 Nginx的一些基本功能
1、静态HTTP服务器首先,Nginx是一个HTTP服务器,可以将服务器上的静态文件(如HTML、图片)通过HTTP协议展现给客户端。配置:?[html] view plain copyserver { listen80; # 端口号 location / { root /
2017-09-27 20:08:57
330
转载 Flume中的HDFS Sink配置参数说明
关键字:flume、hdfs、sink、配置参数转自:http://lxw1234.com/archives/2015/10/527.htmFlume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。channeltypehdfspath写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/we
2017-09-27 18:01:32
235
转载 HBase 数据文件在HDFS上的存储
在HDFS上面最不明确的事情之一就是数据的冗余。它完全是自动进行的,因为无法得知其中详细的信息,我们需要做的就是相信它。HBase完全相信HDFS存储数据的安全性和完整性,并将数据文件交给HDFS存储。正是因为HDFS的数据冗余方式对于HBase来说是完全透明的,产生了一个问题:HBase的效率会受到多大的影响?说的简单一点,当HBase需要存取数据时,如何保证有一份冗余的数据块离自己最近?当我们
2017-09-24 17:04:50
6738
转载 Hbase写数据,存数据,读数据的详细过程
Client写入 -> 存入MemStore,一直到MemStore满 -> Flush成一个StoreFile,直至增长到一定阈值 -> 出发Compact合并操作 -> 多个StoreFile合并成一个StoreFile,同时进行版本合并和数据删除 -> 当StoreFiles Compact后,逐步形成越来越大的StoreFile -> 单个StoreFile大小超过一定阈值后,触发Spli
2017-09-24 16:43:15
336
转载 hive array、map、struct使用
hive提供了复合数据类型:Structs: structs内部的数据可以通过DOT(.)来存取,例如,表中一列c的类型为STRUCT{a INT; b INT},我们可以通过c.a来访问域aMaps(K-V对):访问指定域可以通过["指定域名称"]进行,例如,一个Map M包含了一个group-》gid的kv对,gid的值可以通过M['group']来获取Arrays:array中的
2017-09-20 20:09:56
163
转载 java反射机制解析
java 反射 定义 功能 示例概要:Java反射机制详解| |目录1反射机制是什么2反射机制能做什么3反射机制的相关API·通过一个对象获得完整的包名和类名·实例化Class类对象·获取一个对象的父类与实现的接口·获取某个类中的全部构造函数 - 详见下例·通过反射机制实例化一个类的对象·获取某个类的全部属性·获取某个类的全部方法·通过反射机制调用某个类的方法·通过反射
2017-09-20 08:32:24
274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人