段智华的博客

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行，欢迎关注访问！

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创生产环境实战spark （1）Linux ubuntu系统安装

生产环境实战spark （1）Linux ubuntu系统安装1，环境：云平台提供5台虚拟机：1台做master 4台做worker vmwarevsphereclient 6.0软件登录2，系统安装：ubuntukylin-14.04.2-desktop-amd64 先安装一台master的Linux，云系统克隆4台worker。3，Linux遇到的问题需要修改的地方：

2017-03-29 15:25:05 764

原创 Spark商业案例与性能调优实战100课》第36课：彻底解密Spark 2.1.X中Sort Shuffle中Reducer端源码内幕.pptx>>

Spark商业案例与性能调优实战100课》第36课：彻底解密Spark 2.1.X中Sort Shuffle中Reducer端源码内幕.pptx>>

2017-03-23 21:28:36 971

原创《Spark商业案例与性能调优实战100课》第35课：彻底解密Spark 2.1.X中Sort Shuffle中TimSort排序源码具体实现

《Spark商业案例与性能调优实战100课》第35课：彻底解密Spark 2.1.X中Sort Shuffle中TimSort排序源码具体实现TimSort与MergeSort类似

2017-03-22 21:00:54 845

原创《Spark商业案例与性能调优实战100课》第34课：彻底解密Spark 2.1.X中Shuffle 中SortShuffleWriter排序源码内幕解密

《Spark商业案例与性能调优实战100课》第34课：彻底解密Spark 2.1.X中Shuffle 中SortShuffleWriter排序源码内幕解密

2017-03-21 20:30:57 958

原创第33课：彻底解密Spark 2.1.X中Shuffle 中Mapper端的源码实现

第33课：彻底解密Spark 2.1.X中Shuffle 中Mapper端的源码实现

2017-03-20 21:35:35 600

原创《Spark商业案例与性能调优实战100课》第32课：彻底解密Spark 2.1.X中Shuffle 下Task视角内存分配管理

《Spark商业案例与性能调优实战100课》第32课：彻底解密Spark 2.1.X中Shuffle 下Task视角内存分配管理 poolSize/(2*numActiveTasks) 到 maxPoolSize/numActiveTasks

2017-03-10 19:52:05 644

原创 3月6日，CSDN博客专家通过验证，创建成功！

3月6日，CSDN博客专家通过验证，创建成功！博客专家申请规则“博客专家”是CSDN给予质量较高、影响力较大的IT类博客的荣誉称号，代表了CSDN官方对其博客的肯定，同时博客专家也需要承担一定的社区责任。博客专家申请规则具体如下：申请CSDN博客专家应具备的条件：1.原创技术文章总数超过20篇，并且最近一个月内发布了新的原创技术文章。2.博客文章总的浏览量超过5万次以上。3.文章内容的质量很高。4

2017-03-09 21:28:04 769 1

原创《Spark商业案例与性能调优实战100课》第31课：彻底解密Spark 2.1.X中Shuffle中内存管理源码解密：StaticMemory和UnifiedMemory

《Spark商业案例与性能调优实战100课》第31课：彻底解密Spark 2.1.X中Shuffle中内存管理源码解密：StaticMemory和UnifiedMemory

2017-03-09 21:09:14 876

原创第30课：彻底解密Spark 2.1.X中Shuffle中JVM内存使用及配置内幕详情

第30课：彻底解密Spark 2.1.X中Shuffle中JVM内存使用及配置内幕详情：Spark Unified Memory的运行原理和机制是什么？Spark JVM最小配置是什么？用户空间什么时候会出现OOM？Spark中的Broadcast到底是存储在什么空间的？ShuffleMapTask的使用的数据到底在什么地方？

2017-03-03 21:20:37 1224

原创《Spark商业案例与性能调优实战100课》第29课：彻底解密Spark 1.6.X以前Shuffle中JVM内存使用内幕及配置最佳实践

《Spark商业案例与性能调优实战100课》第29课：彻底解密Spark 1.6.X以前Shuffle中JVM内存使用内幕及配置最佳实践

2017-03-02 21:44:13 702

原创《Spark商业案例与性能调优实战100课》第28课：彻底解密Spark Sort-Based Shuffle排序具体实现内幕和源码详解

《Spark商业案例与性能调优实战100课》第28课：彻底解密Spark Sort-Based Shuffle排序具体实现内幕和源码详解

2017-03-01 21:52:41 797

原创重玩python，安装pandas pandas pycharm pip一堆工具

重玩python，安装pandas pandas pycharm pip一堆工具1，安装Python,python.exe文件在 Python 目录下，添加环境变量 2，安装pip。 python setup.py install3,G:\Python2017\numpypandas>pip install pandas-0.19.1-cp27-cp27m-win_

2017-03-01 14:14:15 4030