- 博客(2)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spark的Action执行、 Transformation转换、Controller控制三种操作类型的使用
Spark的Action执行、 Transformation转换、Controller控制三种操作类型的使用
2017-11-28 21:18:30
3699
原创 spark 读取ORC文件时间太长（计算Partition时间太长）且产出orc单个文件中stripe个数太多问题解决方案
1、背景： 控制上游文件个数每天7000个，每个文件大小小于256M，50亿条+，orc格式。查看每个文件的stripe个数，500个左右，查询命令：hdfs fsck viewfs://hadoop/nn01/warehouse/…….db/……/partition_date=2017-11-11/part-06999 -files -blocks;stripe个数查看命令...
2017-11-23 16:37:49
11681
9
JAVA源代码分析工具比较
介绍了静态代码分析的基本概念及主要技术，随后分别介绍了现有 4 种主流 Java 静态代码分析工具 (Checkstyle，FindBugs，PMD，Jtest)，最后从功能、特性等方面对它们进行分析和比较。
2015-09-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人