- 博客(2)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
原创 Spark的Action执行、 Transformation转换、Controller控制三种操作类型的使用
Spark的Action执行、 Transformation转换、Controller控制三种操作类型的使用
2017-11-28 21:18:30 3726
原创 spark 读取ORC文件时间太长(计算Partition时间太长)且产出orc单个文件中stripe个数太多问题解决方案
1、背景: 控制上游文件个数每天7000个,每个文件大小小于256M,50亿条+,orc格式。查看每个文件的stripe个数,500个左右,查询命令:hdfs fsck viewfs://hadoop/nn01/warehouse/…….db/……/partition_date=2017-11-11/part-06999 -files -blocks;stripe个数查看命令...
2017-11-23 16:37:49 11954 9
JAVA源代码分析工具比较
介绍了静态代码分析的基本概念及主要技术,随后分别介绍了现有 4 种主流 Java 静态代码分析工具 (Checkstyle,FindBugs,PMD,Jtest),最后从功能、特性等方面对它们进行分析和比较。
2015-09-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人