秦凯新技术社区-大数据实战系列滚动更新目录

本套商业实战系列一直会滚动更新，敬请期待

1 SPARK实战系列

1.1 Spark Core 商业源码实战系列目录

• Spark商业环境实战-Spark内置框架rpc通讯机制及RpcEnv基础设施
• Spark商业环境实战-Spark事件监听总线流程分析
• Spark商业环境实战-Spark存储体系底层架构剖析
• Spark商业环境实战-Spark底层多个MessageLoop循环线程执行流程分析
• Spark商业环境实战-Spark一级资源调度Shedule机制及SpreadOut模式源码深入剖析
• Spark商业环境实战-Spark二级调度系统Stage划分算法和最佳任务调度细节剖析
• Spark商业环境实战-Spark任务延迟调度及调度池Pool架构剖析
• Spark商业环境实战-Task粒度的缓存聚合排序结构AppendOnlyMap详细剖析
• Spark商业环境实战-ExternalSorter 外部排序器在Spark Shuffle过程中设计思路剖析
• Spark商业环境实战-ShuffleExternalSorter外部排序器在Spark Shuffle过程中的设计思路剖析
• Spark商业环境实战-Spark ShuffleManager内存缓冲器SortShuffleWriter设计思路剖析
• Spark商业环境实战-Spark ShuffleManager内存缓冲器UnsafeShuffleWriter设计思路剖析
• Spark商业环境实战-Spark ShuffleManager内存缓冲器BypassMergeSortShuffleWriter设计思路剖析
• Spark商业环境实战-Spark Shuffle 核心组件BlockStoreShuffleReader内核原理深入剖析
• Spark商业环境实战-Spark Shuffle 管理器SortShuffleManager内核原理深入剖析
• Spark商业环境实战-Spark PersistenceEngine持久化引擎与领导选举代理机制内核原理深入剖析
• Spark商业环境实战-Spark Shuffle专业级核心参数调优源码深入剖析
• [Spark商业环境实战-Spark 内存管理体系UnifiedMemoryManager源码深入剖析 ]
• [Spark商业环境实战-Spark 内存管理体系StaticMemoryManager源码深入剖析 ]
• [Spark商业环境实战-Spark 基于JVM 统一内存使用内幕源码深入剖析 ]
• [Spark商业环境实战-Spark 基于Tungsten内存分配器的管理机制内幕源码深入剖析 ]
• [Spark商业环境实战-Spark 基于Task粒度的内存管理器及内存消费者源码深入剖析]
• [Spark商业环境实战-Spark Shuffle Block 索引与数据解析组件IndexShuffleBlocakResolver源码深入剖析 ]
• [Spark商业环境实战-Spark Block数据传输服务NettyBlockTransferService 源码深入剖析 ]
• [Spark商业环境实战-Spark 基于Yarn的资源申请过程源码深入剖析 ]
• [Spark商业环境实战-Spark 基于K8s的资源申请流程源码深入剖析 ]

1.2 SparkStreaming 商业源码实战系列目录

• Spark商业环境实战-StreamingContext启动流程及Dtream 模板源码深度剖析
• Spark商业环境实战-ReceiverTracker 启动过程及接收器 receiver RDD 任务提交机制源码剖析
• Spark商业环境实战-SparkStreaming数据流从currentBuffer到Block定时转化过程源码深度剖析
• Spark商业环境实战-SparkStreaming之JobGenerator周期性任务数据处理逻辑源码深度剖析
• Spark商业环境实战-SparkStreaming不间断运行模式下的流式数据清理机制源码深度剖析
• [Spark商业环境实战-SparkStreaming Graph 处理链迭代过程源码深度剖析]
• [Spark商业环境实战-SparkStreaming容错机制源码深度剖析]
• [Spark商业环境实战-SparkStreaming之No Receiver方式基于Kafka 拉取内幕源码深度剖析]
• [Spark商业环境实战-SparkStreaming反压机制控制消费速率内幕源码深度剖析]

1.3 SparkSQL 商业源码实战系列目录

• Spark商业源码实战-SparkSQL 之 Shuffle Join 内核原理及应用深度剖析
• [Spark商业源码实战-SparkSQL执行全过程内部架构解析]
• [Spark商业源码实战-SparkSQL编译器及语法树架构分析]
• [Spark商业源码实战-SparkSQL逻辑计划及优化器Optimizer深入剖析]
• [Spark商业源码实战-SparkSQL物理计划及Ordering体系深入剖析]
• [Spark商业源码实战-SparkSQL聚合过程Aggregation及窗口函数深入剖析]

1.3 Spark商业应用实战系列目录

• Spark商业应用实战-Spark聚合开窗与自定义累加器的高级应用
• Spark商业应用实战-Spark自定义排序规则以及SQL高级应用
• Spark商业应用实战-SparkStreaming窗口滑动以及拉链实现转化率的高阶应用
• Spark商业应用实战-Spark资源申请确定内存和Cpu数量案例实战

1.4 Spark商业调优实战系列目录

• Spark商业调优实战-Spark数据倾斜案例测试及调优准则深入剖析
• Spark商业调优实战-Spark资源调度参数调优深入剖析
• Spark商业应用实战-Spark应用程序开发参数调优深入剖析
• Spark商业调优实战-Spark Shuffle过程参数优化深入剖析
• Spark商业调优实战-Spark Streaming调优参数及最佳实践深入剖析

1.5 Spark商业ML实战系列目录

• Spark商业ML实战-Spark统计指标以及最优参数评估指标深入剖析
• Spark商业ML实战-Spark ML数值类型与数据汇总基础统计算法详解
• Spark商业ML实战-Spark ML基于文本的特征提取实战技巧
• Spark商业ML实战-Spark ML特征转换及处理算子实战技巧
• Spark商业ML实战-Spark ML Pipeline模型选择及超参数评估调优深入剖析
• Spark商业ML实战-Spark ML自定义选择最优模型算法深入剖析
• Spark商业ML实战-Spark ML流式在线学习模型初步构建分析
• Spark商业ML实战-Spark ML基于Iris数据集进行数据建模及回归聚类综合分析
• [Spark商业ML实战-Spark ML流回归和流K-均值模型构建及性能评估综合案例分析]
• [Spark商业ML实战-Spark ML基于RDD进行特征工程数据规整与转换深入剖析]
• [Spark商业ML实战-Spark ML基于推荐算法进行模型训练和模型评估深入剖析]
• [Spark商业ML实战-Spark ML基于智慧交通模型在线学习及实时预测案例深入剖析]

1.6 Flink 牛刀小试实战系列目录

• Flink牛刀小试-Flink 集群运行原理兼部署及Yarn运行模式深入剖析
• Flink牛刀小试-Flink Window类型及使用原理案例实战
• Flink牛刀小试-Flink Broadcast 与 Accumulators 应用案例实战
• Flink牛刀小试-Flink与SparkStreaming之Counters& Accumulators 累加器双向应用案例实战
• Flink牛刀小试-Flink分布式缓存Distributed Cache应用案例实战
• Flink牛刀小试-Flink状态管理与checkPoint数据容错机制深入剖析
• Flink牛刀小试-Flink Window分析及Watermark解决乱序数据机制深入剖析
• Flink牛刀小试-Flink Restart Strategies 重启策略机制深入剖析
• Flink牛刀小试-Flink CheckPoint状态点恢复与savePoint机制对比剖析
• Flink牛刀小试-Flink SQL Table 我们一起去看2018中超联赛
• Flink牛刀小试-Flink基于Kafka-Connector 数据流容错回放机制及代码案例实战
• Flink牛刀小试-Flink DataStreamAPI与DataSetAPI应用案例实战
• [Flink牛刀小试-Flink并行度 Parallel及Slots关系原理深入剖析]
• [Flink牛刀小试-Flink集群HA配置及高可用机制深入剖析]
• [Flink牛刀小试-Flink批处理与流处理案例实战深入剖析]
• [Flink牛刀小试-Flink综合性应用案例实践及垂直业务深入剖析]

1.7 Hadoop商业环境实战系列目录

• Hadoop商业环境实战-Hadoop分布式计算架构流程分析
• Hadoop商业环境实战-HDFS NameNode 宕机元数据一致保障及SNN机制深入研究
• Hadoop商业环境实战-HDFS NameNode 高并发数据读写架构及QJM选举深入研究
• [Hadoop商业环境实战-Hadoop YARN 资源调度机制的架构设计研究 ]
• [Hadoop商业环境实战-Hadoop YARN 多租户体系深入剖析研究 ]
• [Hadoop商业环境实战-Hadoop HDFS 副本存放磁盘选择策略深入剖析]
• [Hadoop商业环境实战-Hadoop HDFS上删除文件恢复方法深入剖析]
• [Hadoop商业环境实战-Hadoop HDFS 解决 HDFS 小文件问题深入剖析]
• [Hadoop商业环境实战-Hadoop HDFS 副本机制对数据一致性方面的保障性实验测试 ]
• [Hadoop商业环境实战-大数据lamda架构在实际项目开发过程中的应用深入剖析 ]

1.8 大数据ML样本集案例实战

• 大数据ML样本集案例实战-Python环境安装及数据基本预处理
• 大数据ML样本集案例实战-信用卡欺诈行为逻辑回归数据分析
• 大数据ML样本集案例实战-数据相关性可视化及交叉验证预测分析
• 大数据ML样本集案例实战-基于逻辑回归及随机森林的多分类问题数据分析
• 大数据ML样本集案例实战-基于MNIST数据集实现2层CNN神经网络案例实战
• 大数据ML样本集案例实战-时间序列数据的预处理及基于ARIMA模型进行趋势预测
• 大数据ML样本集案例实战-基于雇员流失率数据进行多分类模型训练及阈值调整实践
• 大数据ML样本集案例实战-基于球员和裁判数据进行探索性数据分析实践
• 大数据ML样本集案例实战-Python基础算法库及可视化库使用实践
• 大数据ML样本集案例实战-数据处理利器python与scala基本数据结构对比分析1
• 大数据ML样本集案例实战-Python技术栈与Spark大数据平台整合实战
• 大数据ML样本集案例实战-数据处理利器python与scala面向对象对比分析2
• 大数据ML样本集案例实战-Python技术栈与Spark大数据平台整合实战
• 大数据ML样本集案例实战-Python技术栈与Spark交叉数据分析双向整合技术实战
• 大数据ML样本集案例实战-Python技术栈与Spark交叉数据分析双向整合进阶实战

1.9 深度学习牛刀小试

• 深度学习牛刀小试-深度学习基础知识入门及案例代码实战
• 深度学习牛刀小试-TensorFlow基础及MNIST数据集逻辑回归应用实践

2 KAFKA实战系列

2.1 kafka 商业环境实战系列目录

• kafka 商业环境实战-kafka生产环境规划
• kafka 商业环境实战-kafka生产者和消费者吞吐量测试
• kafka 商业环境实战-kafka生产者Producer参数设置及参数调优建议
• kafka 商业环境实战-kafka集群管理重要操作指令运维兵书
• kafka 商业环境实战-kafka集群Broker端参数设置及调优准则建议
• kafka 商业环境实战-kafka之Producer同步与异步消息发送及事务幂等性案例应用实战
• kafka 商业环境实战-kafka Poll轮询机制与消费者组的重平衡分区策略剖析
• kafka 商业环境实战-kafka Rebalance 机制与Consumer多种消费模式案例应用实战
• kafka 商业环境实战-kafka集群消息格式之V1版本到V2版本的平滑过渡详解
• kafka 商业环境实战-kafka ISR设计及水印与leader epoch副本同步机制深入剖析
• kafka 商业环境实战-kafka日志索引存储及Compact机制深入剖析
• kafka 商业环境实战-kafka精确一次语义EOS的原理深入剖析
• kafka 商业环境实战-kafka集群Controller竞选与责任设计思路架构详解
• kafka 商业环境实战-kafka集群Broker端基于Reactor模式请求处理流程深入剖析
• kafka 商业环境实战-kafka集群Producer基本数据结构及工作流程深入剖析
• kafka 商业环境实战-kafka集群基于吞吐量指标进行性能调优实践
• kafka 商业环境实战-kafka集群基于延时指标进行性能调优实践
• kafka 商业环境实战-kafka集群基于持久性指标进行性能调优实践
• kafka 商业环境实战-kafka集群基于可用性指标进行性能调优实践
• [kafka 商业环境实战-kafka集群Wire Protocol通信协议以及消息请求响应机制剖析]
• [kafka 商业环境实战-kafka MirrorMaker双向数据传输灾备机制原理深入剖析]

3 OLAP实战系列

3.1 OLAP商业环境实战系列目录

• OLAP商业环境实战-Kylin官方案例详细剖析及剪枝优化
• Spark商业应用实战-Kylin OLAP 综合解决方案环境部署及双引擎切换实践
• OLAP商业环境实战-Presto基于MPP架构的部署及使用技术详解
• OLAP商业环境实战-HBase数据模型深入剖析
• OLAP商业环境实战-HBase的Compact参数设置及数据读写流程剖析
• OLAP商业环境实战-HBase 内核组件协调及RegionServer JVM参数调优
• OLAP商业环境实战-HBase LRUBlockCache与BucketCache二级缓存机制原理剖析与参数调优
• OLAP商业环境实战-HBase生产环境集群容量规划最优配置
• OLAP商业环境实战-HBase Memstore数据刷写与阻塞机制深入剖析及参数优化
• OLAP商业环境实战-HBase HFile Compact多种合并策略原理剖析及场景建议
• OLAP商业环境实战-HBase HFile Compact吞吐量参数控制优化剖析
• OLAP商业环境实战-HBase 阻塞急救与朱丽叶暂停线上环境解决方案
• OLAP商业环境实战-HBase Memstore专属JVM策略MSLAB机制深入剖析
• [OLAP商业环境实战-HBase RegionServer 服务器宕机数据恢复机制深入分析]
• [OLAP商业环境实战-HBase Region-In-Transition（RIT）机制深入分析]
• [OLAP商业环境实战-HBase RegionServer Group 多租户隔离技术机制深入分析]
• [OLAP商业环境实战-HBase 对象存储MOB压缩分区策略深入分析]
• [OLAP商业环境实战-HBase协处理器机制机制及案例实战]
• [OLAP商业环境实战-HBase BulkLoad海量数据处理深入分析]

4 DW实战系列

4.1 DW商业环境实战系列目录

• DW商业环境实战-数据仓库模型与缓慢变化维度技术深度剖析
• [ DW商业环境实战-维度表技术之角色扮演维度深度剖析 ]
• [ DW商业环境实战-维度表技术之维度子集深度剖析 ]
• [ DW商业环境实战-维度表技术之层次维度深度剖析 ]
• [ DW商业环境实战-维度表技术之退化维度深度剖析 ]
• [ DW商业环境实战-维度表技术之分段维度深度剖析 ]
• [ DW商业环境实战-事实表技术之周期快照与累积快照深度剖析 ]
• [ DW商业环境实战-事实表技术之无事实的事实表深度剖析 ]
• [ DW商业环境实战-事实表技术之累积度量剖析 ]

5 数理统计(Mathematical Statistics)实战系列

• [ MS商业环境实战-大数据统计理论之中心极限定律深度剖析 ]
• [ MS商业环境实战-大数据统计理论之随机梯度下降法深度剖析 ]

6 物联网IOT通讯实战系列

• [ IOT商业环境实战-Netty消息协议TCP/IP深度剖析 ]
• [ IOT商业环境实战-Netty消息协议WebSocket深度剖析 ]
• [ IOT商业环境实战-Netty之NIO Select模型深度剖析 ]
• [ IOT商业环境实战-基于Netty的RPC远程过程调用内核深度剖析 ]
• [ IOT商业环境实战-基于Netty的消息服务器如何实现内核深度剖析 ]
• [ IOT商业环境实战-RPC开源框架依赖注入如何实现分析 ]
• [ IOT商业环境实战-RPC开源框架RPC异步回调机制实现深度剖析 ]

7 分布式事务实战系列

• [ 分布式事务实战系列-分布式事务使用场景分析 ]
• [ 分布式事务实战系列-TCC事务一致性模型使用场景分析 ]