- 博客(5)
- 收藏
- 关注
RSS订阅原创 解决mysql innodb数据表在主从数据复制时存在数据丢失问题
在我们实际的业务系统中，在往数据表中插入数据时，使用了事务机制，导致数据表在使用主从复制时存在主库中的表数据未全部复制到从库的数据表中。查看官方文档，提示需要在 MySql主库的my.cnf配置文件中设置 innodb_flush_log_at_trx_commit=1 和 sync_binlog=1 或者进入 MySQl Shell 执行：set @@global innodb_f...
2018-10-10 10:08:01
1537
如何获取CDH 嵌入式postgresql数据库的 cloudera-scm 密码
Get the cloudera-scm password in this file:cat /var/lib/cloudera-scm-server-db/data/generated_password.txt具体内容参考附件文件
2018-10-08 22:23:06
804
原创 故障与机会
最近每个月总是不定时的发生线上服务异常,每次服务故障的出现，对技术而言都是一次很好的实战解决问题的机会，但因生产环境一般只提供一套生产服务，并且每次出现故障以优先恢复生产服务为目标，而后再判断、排查、定位具体问题，如果应用服务能够打印足够多的log日志信息，后续技术可以从这些打印的错误日志中通过抽丝拨茧、仔细分析能够找到引起生产故障的最终原因，但在少数故障问题面前需要在当时的生产环境下才能定位到具...
2017-09-19 20:20:25
147
原创 解决预期数据下HBase建表时如何预分区regions.
最近一次发现导入10几T数据到HBase(自动分配regions模式)表中，该表只占用55个resions匪夷所思, 根据每个resions存储文件的大小10G（ hbase.hregion.max.filesize设置的值是10G）, hbase表压缩方式为：“SNAPPY”格式.此类压缩比在60%左右. 根据以上计算，数据表最少分配600个resions. 实际通过查看hbase表各个resi...
2017-09-08 19:55:51
668
原创 解决使用 HBase Bulk Loading 工具出现超过32个hfile的问题，针对一个region的family
导入指标时遇到 importtsv.bulk.output 目录输出的hfile文件个数超过32个时，需要分为多步操作，第一步： 先把超过的文件个数（bulk.output的目录下的hfile文件个数保持在32之内）移到别的目录下。第二步： 执行 hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles output...
2017-06-27 09:04:37
1628
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人