- 博客(5)
- 收藏
- 关注
RSS订阅转载 Hbase优化
服务端1.hbase.regionserver.handler.count：rpc请求的线程数量，默认值是10，生产环境建议使用100，也不是越大越好，特别是当请求内容很大的时候，比如scan/put几M的数据，会占用过多的内存，有可能导致频繁的GC，甚至出现内存溢出。2.hbase.master.distributed.log.splitting：默认值为true，建
2017-04-08 10:05:52
373
转载 Hbase 备份方案
1、Hbase中的备份策略有哪些，各有什么特点？ hbase中的数据备份策略有两种：关闭集群进行全备份；在线对集群进行备份。1、进行关机备份时，必须全部关闭Hbase集群，或者disable所有表，然后通过distcp命令将Hbase目录下的内容复制到另外或者同一个集群的不同目录就可以了。2、在线备份，可以通过CopyTable 命令将被内容复制到另一张表中；或者导出
2017-04-06 21:32:44
603
转载 Hbase恢复误删数据
1.hdfs的回收站机制 客户有时会误删一些数据，在生产环境下，误删数据会造成非常严重的后果。 在hdfs上有一个回收站的设置，可以将删除的数据存在目录”/user/$/.Trash/”中，设置回收站的参数如下：fs.trash.interval=0 以分钟为单位的垃圾回收时间，垃圾站中数据超过此时间，会被删除。如果是0，垃圾回收机
2017-04-06 21:29:33
5593
转载 Hbase数据恢复方案
1 HBase数据路由1、 从ZooKeeper中获取-ROOT- Region所在的RegionServer2、 向-ROOT- Region所在的RegionServer发送Scan –ROOT-的RPC请求，来获取.META. Region 所在的位置。下图为-ROOT- Region里的具体内容3、 向.META. R
2017-04-06 21:28:35
2358
转载 特征选择
特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。特征选择主要有两个功能：减少特征数量、降维，使模型泛化能力更强，减少过拟合增强对特征和特征值之间的理解拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，我们经常不管三七二十一，选择一种自
2017-04-06 20:36:49
412
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人