- 博客(13)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 蘑菇街中间件分布式事物的设计与实现
蘑菇街中间件分布式事物的设计与实现感言什么是分布式事务？什么是事务单机事务分布式事务分布式事务产生背景分布式事务需求来源跨数据库跨应用分布式事务方案TCC2PC最终选择2PC方案协议参与者事务参与者事务协调者请求阶段（commit-request phase）提交阶段（commit phase）2PC方案-缺点与事务中心交互较频繁同步阻塞问题单点故障数据不一致问题2PC方案-优化降低与事务中心交...
2020-03-25 20:04:46
886
1
原创 大数据存储引擎-bigstore
大数据存储引擎-bigstore专利背景介绍产生背景需要解决的问题主流数据存储对比大数据场景下的功能取舍主要场景支持舍弃需要解决的问题如何降低数据的存储空间如何在海量数据中快速检索如何应对未来数据量的增长存储示意图检索步骤BigStroe架构图数据类型-索引设计数值类型字符类型枚举类型全文检索缓存设计1.数据块(DP)缓存2.索引缓存3.查询缓存JVM参数优化集群方案主从同步适用场景想想 从中间...
2020-03-25 20:03:31
1724
原创 java-性能&故障分析工具
java-性能&故障分析工具突然想起了，对HR小姐姐的承诺（你要是问我是不是为了福利，我是打死不会承认的）。我们公司的技术栈以java居多，那就介绍一下之前自己写的一个性能&故障分析工具吧，也希望能对公司的java开发者有一点点帮助吧。居然公司内网都已经写好，这里也同步一下吧，如果有感兴趣的朋友可以也看看在正式介绍这个工具之前，我先描述几个我在蘑菇街亲身经历过的一些场景吧。......
2020-03-23 22:23:32
844
1
原创 蘑菇街实时计算平台-起源篇
蘑菇街实时计算平台-起源篇今日正在我默默工作时，HR小姐姐突然找到我了，让我把《实时计算平台》搬到内网，好吧，谁让HR小姐姐太漂亮了呢，只能恭敬不如从命了，既然公司内网都已经发布了，那这里也搬一次吧。想着想着思绪又回到了一年半前~~~，大约是2018年的12月份数仓的 申X 同学 兴奋的跑过来：我这边有个需求，要用到实时计算，你们帮忙写一下我们：哦，这个需求么，要写2周吧，申X：WHA...
2020-03-07 11:20:39
631
2
原创 解决NodeManager跑半年左右就频繁触发FULL-GC的内存泄露问题
解决NodeManager跑半年左右就频繁触发FULL-GC的内存泄露问题故障过程故障过程我们的集群用的事2.7.3版本的集群，NodeManager跑半年左右就会频繁触发FULL-GC，然后重启。然后发现这是一个普遍现象，集群里的机器好像都是这个节奏，过了半年之后，就会触发FULL-GC告警，然后重启一下。到底是为什么呢，我们带着这个问题，开始进行排查工作。我们找到一台触发FULL-GC的...
2020-03-09 22:54:55
26940
2
原创 Mac 下编译 Hadoop-2.8
Mac 下编译 Hadoop-2.8系统基本环境准备1. maven：Apache Maven 3.5.42. jdk：1.8.0_2013. brew：Homebrew 2.2.6编译环境准备1.cmake：2.openssl：3.snappy：4.zlib：5.protobuf：编译hadoop下载hadoop源码开始编译编译完成系统基本环境准备由于下面列的东西都比较常规，具体的安装过程就...
2020-03-01 18:30:10
385
1
原创 AviatorEvaluator执行脚本导致Metaspace不足引发频繁 Full GC
AviatorEvaluator执行脚本导致Metaspace不足引发频繁 Full GC故障机经过故障机经过数据分析&特征平台DMP 最近频繁发生Full GC, 引发集群卡顿，导致经常超时，按照常规的方法，肯定是先看GC 日志2020-02-17T10:17:24.672+0800: 48172.920: [GC (Allocation Failure) 2020-02-17T1...
2020-02-17 12:17:43
2406
原创 ZK节点数过大导致不可用，引发ResourceManager挂掉
ZK节点数过大导致不可用，引发ResourceManager挂掉故障经过故障经过晚上8点多突然发现flink任务大面积挂掉重启的告警，然后打开 yarn-ui进行查看发现 ui也挂了根据情况以及日志，初步判定RM挂了，然后查看RM 日志，发现ZK连不上，怀疑ZK有问题， 然后又登录ZK集群，查看ZK日志##ZK日志为了尽快恢复故障，减少故障时间，决定重启RM，但是启动失败，感觉RM启...
2020-02-10 18:13:42
26978
4
原创 Hadoop Yarn无法提交新任务的故障处理
故障记录 Hadoop Yarn 无法提交新任务故障发现经过RM日志ZK日志后续故障发现经过当时有业务方反馈，新的flink任务无法提交，而我们的flink以on yarn 的模式跑在hadoop yarn上，根据客户端日志发现任务没有提交成功，然后去查看RM日志RM日志2019-08-05 16:11:02,101 WARN org.apache.zookeeper.ClientCnxn...
2020-02-05 16:16:48
1194
原创 HDFS配置详解
HDFS配置详解随笔说明hdfs-site.xmldfs.namenode.name.dirdfs.block.sizedfs.datanode.data.dirdfs.namenode.handler.countdfs.datanode.handler.countdfs.datanode.max.xcieversdfs.permissionsdfs.datanode.du.reserveddfs...
2020-02-04 16:28:37
3528
1
实时计算平台-PPT版.pptx
2020-03-07
毛宝龙-EC融入HDFS-脱敏.pdf
2020-02-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人