- 博客(4)
- 收藏
- 关注
原创 C++11 多线程浅析
1.thread(fun, arg1, arg2...)可以创建线程,线程创建成功就会开始执行2.使用mutex互斥,这个互斥是线程间的互斥,如果两个线程里面都有多个相同的互斥锁,那么会先执行完一个线程的所有代码再执行另一个线程。3.使用condition_variable可以阻塞线程,但是必须配合unique_lock使用,因为这个阻塞过程必须是互斥的,需要一个互斥量。4.一般使用unique_...
2018-06-04 10:16:51 176
原创 spark cache优化
cache优化针对的是rdd_a不仅要计算得到rdd_b还要计算得到rdd_c,如果不cache再计算rdd_c时就要重新计算rdd_a,因为再计算完rdd_b时系统就以为a没用了就释放了。...
2018-05-30 10:31:47 332
原创 pyspark快速入门
1.SparkConf(LoadDefaults = True), 设置Spark的一些配置,例:conf. = SparkConf().setAppName("MyApplication")2.SparkContext(conf = None), 一个SparkContext表示一个到Spark集群的连接,可以用来创建RDD和广播, 例:sc = SparkContext(conf = con...
2018-05-30 10:06:09 2795
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人