自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 资源 (9)
  • 收藏
  • 关注

原创 Spark 累加器注意点

注意点:存在多个action算子的时候,accumulator可能存在重复计算的情况 验证: 第一步先获取一个accumulator //accumulator LongAccumulator accum = sc.sc().longAccumulator(); 此时进行累加求和操作: JavaRDD<Integer> map = sc.parallelize(Array...

2018-11-09 17:59:19 537

原创 SimpleDateFormat在格式化大数据量的时间易出现线程问题

    当数据量较大的时候,可能会出现传入处理参数与实际传入参数不一致的问题 此时看看SimpleDateFormat源码: 由此可知SimpleDateFormat非线程安全,可使用:FastDateFormat  public static final FastDateFormat TIME_FORMAT = FastDateFormat.getInstance("yyyy...

2018-11-09 14:57:16 452

原创 org.apache.spark.SparkException: Task not serializable] with root cause

18/11/08 11:27:26 ERROR [dispatcherServlet]: Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is org.apache.spark...

2018-11-08 11:33:52 581

RapidMiner Studio.rar

RapidMiner是一款专业的数据挖掘工具,主要功能包括缺失值处理、数据访问、数据探索、数据准备、建模、数据清洗、模型验证、数据分析等,从数据设计到建模到分析都可轻松完成,为数据分析师带来新的解决方案。有需要的朋友可以下载使用。

2019-09-27

spark-2.2.1.tgz

如果官网的下载比较慢的话可以试试下这个,至少比官网快点

2019-09-04

templetes.rar

里面包含三套网站模板,精挑细选出的三套,分别是绿色系装修公司、中国风传媒公司、橙色系传媒公司的官网代码,风格简单大气

2019-07-16

java并发编程与高并发处理.xmind

java并发编程总结,为xmind格式,总结的很详细,包含常见的并发容器,锁等知识

2019-05-16

CDH安装过程记录.txt

cdh5.13的安装文档,详细记录了安装的步骤和一下常见问题的解决办法

2019-05-16

多个大数据学习模拟数据集地址

多个大数据的模拟数据网站地址,对个人学习很有帮助。

2019-04-26

百面机器学习算法工程师带你去面试

百面机器学习算法工程师带你去面试,机器学习必备,面试前必备

2019-04-26

Flink基础教程.pdf

当下大数据方向热门的实时处理框架Flink,入门必备,Flink项目成员执笔,阿里技术专家翻译

2019-04-26

MNIST手写数字数据集

MNIST手写数字数据集,有时候网络不好,无法在线下载,故上传至csdn

2019-03-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除