- 博客(48)
- 收藏
- 关注
RSS订阅原创 k8s集群搭建报错conntrack is required. socat is required.
【代码】k8s集群搭建报错conntrack is required. socat is required.
2024-03-25 18:00:38
724
原创 Hbase数据全量备份及增量备份
1、采用Hbase原生类进行数据的备份，使用MR任务将Hbase数据导出至HDFS中进行存储，建议选择业务低峰进行避免过量使用集群计算资源，周期可控制在每周一次。1、为保证集群稳定，业务强健，建设PRD集群数据存量备份及增量备份功能。$HDFSpath //导出文件存储在HDFS中的路径。$service_version //hbase版本号。$start_time //增量备份开始时间戳。$table_name //所要导出表的名字。$end_time //增量备份结束时间戳。进入Hmaster节点。
2023-07-19 15:01:50
570
原创 Hbase表设置Snappy压缩格式
在线设置Hbase表为Snappy格式方案可行，且对业务无影响。DR集群ActiveNamenode节点操作。Hbase数据可以得到百分之57左右的压缩。使用命令修改测试表压缩格式。修改Hbase表压缩格式。对测试表进行现存设置留存。
2023-07-19 14:59:05
409
原创 Hbase 读优化之BLOOMFILTER过滤器
bloom fliter是一种空间效率很高的随机数据结构，初始状态时，bloom filter是一个包含m位的位数组（值为0），当有元素写入时，通过k个hash函数将这个元素映到这个位数组中，映射的位置设置为1。HBase利用Bloomfilter来提高随机读（Get）的性能，对于顺序读（Scan）而言，设置Bloomfilter是没有作用的（0.92以后，如果设置了bloomfilter为ROWCOL，对于指定了qualifier的Scan有一定的优化，但不是那种直接过滤文件，排除在查找范围的形式）
2023-03-21 15:04:52
295
原创 Host is blocked because of many connection errors； unblock with ‘mysqladmin flush-hosts’
Host is blocked because of many connection errors; unblock with ‘mysqladmin flush-hosts’
2022-11-08 10:47:05
3408
原创 RpcServer.default.FPBQ.Fifo.handler hdfs.DFSClient: Connection failure: Failed to connect to IP50010
50010连接timeout
2022-11-02 15:22:41
610
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人