- 博客(3)
- 收藏
- 关注
RSS订阅原创 Only one SparkContext may be running in this JVM
今天在学习spark读取java文件时，学习了遇到了Only one SparkContext may be running in this JVM的错误。 错误的原因是因为在调用mapper.readValue函数时传入了带有SparkContext的类，导致SparkContext被加载两次。于是又回头看了看class的概念。 对象类的.class保存了类的所有信息，在装载的同时会自动创建
2016-12-21 11:14:41
3435
转载 spark-java-task未序列化
原文链接-spark编程task未序列化 问题描述及原因分析 在编写Spark程序中，由于在map等算子内部使用了外部定义的变量和函数，从而引发Task未序列化问题。然而，Spark算子在计算过程中使用外部变量在许多情形下确实在所难免，比如在filter算子根据外部指定的条件进行过滤，map根据相应的配置进行变换等。为了解决上述Task未序列化问题，这里对其进行了研究和总结。
2016-12-19 11:18:10
1611
1
原创 个人对于协程的理解
有人问我协程是什么？很久以前了解过，但一直没用到，概念就忘了，最近又好好看了看协程的概念，做个记录。 首先，我觉得网上很多人把协程和线程一起比较是很让人混淆的，线程和进程都是操作系统级别的概念，协程我理解应该是代码运行流程的概念，放在一起比较很容易让人认为协程是进程一个类型的东西，虽然协程也叫轻量级线程，但是我了解下来应该不是一样东西，如果理解的不对，请指出。 然后，协程是什么，协程就是异步编
2016-12-13 14:02:20
807
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人