- 博客(3)
- 资源 (8)
- 收藏
- 关注
原创 Hadoop3 - 源码编译
编译代码: mvn clean package -DskipTests -Pdist,native -Dtar。修改hadoop-common-project/hadoop-common/pom.xml文件增加依赖。1. 安装protobuf2.5。2. doxygen 依赖。
2023-02-27 15:34:45
171
原创 Spark 源码分析 - SparkConf 配置加载
当我们使用书写spark代码 val conf =new SparkConf 的时候:配置时如何初始化的? 还有spark会加载哪些配置? 除了加载配置,还做了什么事情?SparkConf 的成员变量sparkconf存放配置一个map,这个map是线程安全,内部代码:private val settings = new ConcurrentHashMap[String, Str...
2018-09-21 16:17:43
468
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人