段智华的博客

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行，欢迎关注访问！

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创第134课： Spark Streaming总结

第134课： Spark Streaming总结1 spark streaming 魔镜秘境2 发展中的 Spark Streaming

2016-06-30 20:38:49 1405

原创 IMFHIVE 升级版本详细步骤从hive-1.2.1升级到 hive-2.1.0

IMFHIVE 升级版本详细步骤从hive-1.2.1升级到 hive-2.1.0上传root@master:/usr/local/setup_tools# ls |grep apache-hive-2.1.0-apache-hive-2.1.0-bin.tar.gzroot@master:/usr/local/setup_tools# 解压缩root

2016-06-30 18:07:51 6566

原创第132课： Spark Streaming源码经典解读系列之七：Executro容错工作内幕源码解密

第132课： Spark Streaming源码经典解读系列之七：Executro容错工作内幕源码解密Executor 容错高可用：备份方式1、备份：将数据拷贝一份，不同机器A/B两个进程复制一份副本，进程级别。2、使用WAL备份方式，内存的数据挂掉，通过WAL恢复数据。不备份的方式：1、重放，从hdfs上重新读取数据，spark streamin

2016-06-27 20:47:34 685

原创第130课： Spark Streaming源码经典解读系列之五：Receiver工作内幕源码解密

第130课： Spark Streaming源码经典解读系列之五：Receiver工作内幕源码解密

2016-06-25 21:32:51 743

原创第131课： Spark Streaming源码经典解读系列之六：ReceiverTracker工作内幕源码解密

第131课： Spark Streaming源码经典解读系列之六：ReceiverTracker工作内幕源码解密

2016-06-25 20:52:32 870

原创第129课：Spark streaming源码经典解读系统之四：GobGenerator工作内幕源码解密

第129课：Spark streaming源码经典解读系统之四：GobGenerator工作内幕源码解密

2016-06-23 20:38:56 662

原创第32课：Kafka原理内幕和集群构建与测试实战

第32课：Kafka原理内幕和集群构建与测试实战1 kafka原理内幕2 kafka集群实战Kafka的重要性不亚于spark streaming的重要性！彻底精通kafka，做到绝对精通kafka。如一些公司使用流处理系统：kafka改造整个IT异构系统！kafka1、kafka是分布式的，大规模消息打下坚实的基础，scalable2、对消息进行持久化，默认情况保存

2016-06-23 06:39:06 1324

原创第128课： Spark Streaming源码经典解读系列之三：JobScheduler工作内幕源

第128课： Spark Streaming源码经典解读系列之三：JobScheduler工作内幕源码解密1 JobScheduler JobGenerator ReceiverTracker2 JobScheduler源码内幕3 Spark Streaming Job深度思考和试验从日志开始抽象的理解，相当于堆栈的调用，调用的外部函数

2016-06-22 20:41:21 713

原创第31课：集群运行模式下的Spark Streaming调试和难点解决实战经验分享

第31课：集群运行模式下的Spark Streaming调试和难点解决实战经验分享一个batch中产生2个或3个job跟 spark streaming没有任何关系，2个 3个job只跟rdd的take有关。分区中扫描，找不到数据循环执行job扫分区；如第一次分区刚好扫到了，就运行一个job

2016-06-21 19:28:04 1010

原创第127课： Spark Streaming源码经典解读系列之二：Spark Streaming生成RDD

第127课： Spark Streaming源码经典解读系列之二：Spark Streaming生成RDD并执行Spark Job源码内幕解密.1 DStream 产生RDD的案例实战2 DStream 作为RDD的原理机制3 生产RDD源码解密 http://mp.weixin.qq.com/s?__biz=MzIwMDI0NzYxMQ==&mid=502188021&id

2016-06-20 20:33:26 1132

原创第30课：集群运行模式下的Spark Streaming日志和Web监控台实战演示彻底解密

第30课：集群运行模式下的Spark Streaming日志和Web监控台实战演示彻底解密1个程序，多个job 作业调度的时候，更大化的使用集群的资源，封装不同的taskreceive运行在executor，多个receive，启动多个job，spark streaming封装了runable对象，2个或3个job属于同样的batch，产生jobset，jobset具体处理哪

2016-06-19 20:46:30 1036

原创第29课：深入理解Spark 2.x中的Structured Streaming内幕

第29课：深入理解Spark 2.x中的Structured Streaming内幕

2016-06-19 16:49:34 1705

原创 Spark机器学习第4课及第5课：深入理解RDD、DataFrame、DataSet、Structured Streaming

Spark机器学习第4课：深度解析Structured Streaming Spark机器学习第5课：深入理解RDD、DataFrame、DataSet、Structured Streaming

2016-06-19 10:58:58 1287

原创周末班补充视频第4课：Scala函数的惊人的内幕价值：天然的可序列化解密与实战

周末班补充视频第4课：Scala函数的惊人的内幕价值：天然的可序列化解密与实战 scala 函数天然具有序列化和反序列化的能力。

2016-06-19 10:24:55 968

原创第28课：在集成开发环境中详解spark streaming的运行日志内幕

第28课：在集成开发环境中详解spark streaming的运行日志内幕 remove删除分2部分 Rdd占内存空间立即删除了删除上一个job的元数据下一个job启动以前删除上个job的原数据第一个job没有删rdd，没有前置batch信息，无内存占用过大的问题

2016-06-16 07:17:46 573

原创第25课：spark streaming的streamingContext启动及Jobschedule启动源码图解

第25课：spark streaming的streamingContext启动及Jobschedule启动源码图解1 streamingContext启动2 Jobschedule启动源码图解/* * *王家林老师授课http://weibo.com/ilovepains */ 每天晚上20：00YY频道现场授课频道68917580 StreamingContext.st

2016-06-11 07:32:54 1309

原创第121课： Spark Streaming性能优化：通过摄像头图像处理案例来说明Spark流处理性能评估新方法及性能调优参数测试

第121课： Spark Streaming性能优化：通过摄像头图像处理案例来说明Spark流处理性能评估新方法及性能调优参数测试对于图像处理，数据肯定是在RDD中的，Receiver接受到数据后放在缓存中，然后按照特定的时间周期通过BlockManager存储数据，对于图像处理而言，数据肯定是有特定格式的，在处理的时候HOG进行特征的提取与检测等在做这个项目

2016-06-10 21:29:45 2277

原创 IMF 检查虚拟机swap内存，清理及spark程序重新调整

IMF 检查虚拟机swap内存，清理及spark程序重新调整 root@master:/usr/local/kafka_monitor# free -m total used free shared buffers cachedMem: 2995 2914

2016-06-10 17:12:03 1130

原创第24课：Spark Streaming的Transformation、Action、Input和Output

第24课：Spark Streaming的Transformation、Action、Input和Output源码图解1 Spark Streaming的Transformation、Action源码图解2 Input和Output源码图解未来Spark的发展，第二代钨丝计划解决了内存和CPU之后，接下来流处理是Spark发力的地方。

2016-06-10 07:10:57 1086

原创 IMF Vmvare 中linux 根分区磁盘扩容 gparted 增加虚拟机磁盘空间

IMF Vmvare 中linux磁盘扩容 gparted 增加虚拟机磁盘空间root@master:~# df -kFilesystem 1K-blocks Used Available Use% Mounted on/dev/sda1 18296580 11823456 5520652 69% /none

2016-06-09 10:09:45 3274 1

原创第114课:SparkStreaming+Kafka+Spark SQL+TopN+Mysql+KafkaOffsetMonitor电商广告点击综合案例实战(详细内幕版本)

第114课:Spark Streaming电商广告点击综合案例实战(测试版本)/* 王家林老师授课http://weibo.com/ilovepains 每天晚上20：00YY频道现场授课频道68917580*/综合案例的实战我们分步进行：1.Mysql 中建立表：

2016-06-05 17:24:55 13798 2

原创第25课：基于MAT分析Shallow Heap和Retained Heap

第25课：基于MAT分析Shallow Heap和Retained Heap笔记本上 mat 动态连接ecliplse有点问题，换华为的服务器重新安装mat， mat动态连接ecliplse 成功。Shallow Heap浅堆：java对象占用的内存Retained Heap深堆：java对象及对象引用的类占用的内存，jvm gc回收时释放的内存Retained H...

2016-06-05 08:46:13 6052 1

原创第117课： Spark Streaming性能优化：如何最大程度的确保Spark Cluster和Kafka链接的稳

第117课： Spark Streaming性能优化：如何最大程度的确保Spark Cluster和Kafka链接的稳定性1 Spark Streaming与Kafka连接问题2 KafkaReceiverspark2.x弄了一个静态类型检查，python就不能用ZkUtils.scalazookeeper.session.timeout.ms 系统默认6000 6s，这个超

2016-06-04 21:03:37 1543

原创周末班补充视频Scala第2课：动手编写和运行自己的第一个Scala函数式编程的实例.

周末班补充视频Scala第2课：动手编写和运行自己的第一个Scala函数式编程的实例. package com.dtspark.scala.functional.basicsobject MyFirstFunctionalAPP { def add(x:Int,y:Int): Int = { x+y } def sub(x:Int,y:Int):I

2016-06-04 20:13:53 598

原创第19课：Spark Streaming架构设计和运行机制大总结

第19课：Spark Streaming架构设计和运行机制大总结1 spark streaming中的架构设计和运行机制2 spark streaming的深度思考Rdd的模板是Dstream，但Dstream操作和RDD不是一一对应的，Dstream和DstreamGraph 不过是幻象。Spark Streaming本质上RDD+Timer,在RDD的基础之上，Timer在

2016-06-04 10:45:34 792

原创第20课：Spark Streaming中动态Batch Size实现初探

第20课：Spark Streaming中动态Batch Size实现初探 1 Batch duration 与Process Time2 动态Batch sizeSpark Streaming中有很多算子，每一个算子不会呈现线性规律， Batch duration处理数据越大，时间不会线性增长。数据量大，不是加大Batch duration就能解决问题。一切终端一切媒体都会变

2016-06-04 07:52:57 3037 3

原创第116课： Spark Streaming性能优化：如何在毫秒内处理处理大吞吐量的和数据波动比较大的程序

第116课： Spark Streaming性能优化：如何在毫秒内处理处理大吞吐量的和数据波动比较大的程序1 大吞吐量和数据波动比较大的程序2 Spark streaming中的解决方案-数据规模非常大，数据的处理会大于batch interval-数据波动非常大，峰值非常大，让人提心吊胆的地方办法：加硬件：内存、cpu cores 但要花公司的钱限流：log日志观察；如双11，

2016-06-03 21:14:24 7495 2

原创第18课：Spark Streaming中空RDD处理及流处理程序优雅的停止

第18课：Spark Streaming中空RDD处理及流处理程序优雅的停止/* 王家林老师授课http://weibo.com/ilovepains 每天晚上20：00YY频道现场授课频道 68917580*/1 Spark Streaming中空RDD的处理2 Spark Streaming程序优雅的停止跟51cto和csdn课堂合作，最最重要的是如何贡献社会，祝福

2016-06-01 19:26:34 2394