祁东握力的博客

1、spark.driver.memoryOverheadspark预留内存，计算公式为Min(executor-memery * 0.1 , 384M)。也就是executor的十分之一，并且最小不小于384M这是一种内存，它负责处理诸如VM开销、内部字符串、其他本机开销等事情。这些都是jvm进程本身所需要的开销，不属于计算task时计算数据的内存。所以一般不用设置。2、spark.memory.offHeap.size(需要与 spark.memory.offHeap.en...

Hbase 清空表，truncate与truncate_preservetruncate会把表分区也清除掉hbase(main)> truncate 'namespace:tableName'truncate_preserve只清除数据hbase(main)> truncate_preserve 'namespace:tableName

https://blog.csdn.net/weixin_39752880/article/details/111652337任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。总结起来，大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大。Full GC问题之前在一些文章里面已经讲过它的来龙去脉，主要的解决方.

转载自：https://www.iteye.com/blog/weisu-1944928、SingleColumnValueFilter 单列列值型过滤器：指定某个列簇和列信息，对指定列的值进行过滤，相当于sql查询中的where t.username= 'xxx'或where t.usernamelike '%xxx%'； 注意：注意如果某一行不含有该列，同样返回，除非通过filterIfColumnMissing 设置成真。 方法：pub...

https://www.zhihu.com/question/21653972/answer/429595222

https://blog.csdn.net/zhanglh046/article/details/78510291

不错的文章：https://blog.csdn.net/zhanglh046/article/details/78517928https://blog.csdn.net/wangshuminjava/article/details/80575864#commentBox1、散列性(rowkey尽量均匀的分布到多个region，并且有可能的话某些条件一样的数据都集中在同一个regi...

在创建表的时候指定分区的分割点。。一、命令行形式1、hbase shell命令行里创建表是使用SPLITS指定一个数组，在数组中指定切割点。hbase会自动以数据的元素为分割点(分割前会先排序，避免手滑导致顺序颠倒，然后出现分区的startKey大于endKey的情况)。下面数据有四个元素，则会分割出五个region。 create 'staff1','info1','porar...

大家都知道，hbase存储数据是按照版本存储的，并且是按照时间戳决定的版本，只有时间戳最新的版本才有效。。如果表中的数据存在多个版本，那么按时间戳从小到大排序来看。。一、addColumn() 只删除等于给定时间戳的版本。是添加一个类型为delete的版本数据。。举个栗子：比如原有三个版本，都是表示数据类型的，时间戳假设是1,5,8三个。而addColumn指定了时...

参考文章：https://www.iteblog.com/archives/2474.html?from=related

1、flush，从memstore刷到hdfs的时候，只会把内存中同一cell最新的一个版数据刷到hdfs中。2、compact(major),合并文件时，并且是major合并，把所有hfile文件都合并为一个，多个hfile文件中相同cell只会把最新的一个版本的数据放到新的hfile中有个问题：当memstore内存中的deleteColumn类型的数据(删除)是最新的，在f...