weixin_53107837的博客

1、当一个Region中的某个MemStore的大小达到128M（hbase.heregion.memstore.flush.size的默认值），那么整个Region中的所有MemStore都会flush2、当一个Region中的所有MemStore的大小达到128 * 4 （4为hbase.hregion.memstore.block.multiplier的默认值）时，整个Region中的所有MemStore都会flush3、当RegionServer中所有MemStore的总大小达到 10G *

HBase详细架构图zookeeper：实时监控Region Server的状态，将Region server的上线和下线信息实时通知给Master存储有table的信息，包括列信息HMaster：给HRegionServer分配HRegion负责HRegionServer的负载均衡当有HRegionServer失效时，负责重新分配失效的HRegionServer上的HRegion（故障转移）HRegionServer:负责处理客户端发过来的请求负责HRegion

HBase写流程1、client向zookeeper发送请求，获取meta表所在的RegionServer的位置信息2、zookeeper返回RegionServer信息3、client向对应的RegionServer发送请求，获取meta表信息4、相应的RegionServer返回meta表信息（客户端会对返回的meta表信息进行缓存 meta cache）5、client根据表中的信息向对应的region所在的RegionServer发起写数据请求（通过表中的Rowkey查询到.

scala主构造函数中参数加val/var和不加的区别不加val或var此时该参数只能作为类的不可变参数使用，外部无法访问该变量加val或var当构造器参数前加上var或val时，该参数由不可变参数变成成员变量，外部也可以调用...

scala函数简写规则方法至简原则：能省则省1、至简原则细节（1）return可以省略，Scala会使用方法体的最后一行代码作为返回值（2）返回值类型如果能够推断出来，那么可以省略（3）如果方法体只有一行代码，可以省略花括号（4）如果方法无参，则可以省略小括号。若定义方法时省略小括号，则调用该方法时，也需省略小括号；若定时方法时未省略，则调用时，可省可不省。（5）如果方法明确声明Unit，那么即使方法体中使用return关键字也不起作用（6）Scala如果想要自动推断无返回值，可以省略等号

scala高阶函数练习1、获取元素中每个元素的长度val datas = Array(“spark”,“hello”,“scala”,“python”)object Test01 { def main(args: Array[String]): Unit = { val datas = Array("spark","hello","scala","python") val func = (x:String) => x.length println(testO

分区，shuffle