- 博客(4)
- 收藏
- 关注
RSS订阅原创 【Spark】|【Spark性能调优】|【设置并行度】|【Spark多配置优先级】|【总结】
一、【关于Spark并行度】1. 什么是Spark的并行度？并行度其实就是指的是spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度2. 官方推荐task的个数？官方推荐，task数量，设置成spark Application 总cpu core数量的2~3倍 。比如：150个cpu core ，基本设置 task数量为 30...
2019-09-26 11:40:29
1151
原创 Python 依赖库安装
1.用pip安装 requests 库【要在request后面加s】打开cmd输入命令如下：pip install requests
2019-09-23 10:25:32
417
原创 Scala学习笔记：重要知识点摘记
一、Scala基础语法 1. Scala 中使用val语句可以定义函数，def语句定义方法。 2. Scala是面向行的语言， 语句末尾的分号 ; 是可选的。 3. Scala没有java中的原生类型 4. Scala用'''xxx'''表示多行字符串 5. 如果没有指定访问修饰符，默认情况下，Scala 对象的访问级别都是 public； 6. ...
2019-09-19 10:23:00
331
原创 机器学习：学术论文的来源
1.GitHub上开源代码标注引用的论文；NeuRec/evaluation/Evaluate.pyhttps://github.com/wubinzzu/NeuRec/blob/948aa1131b0f3dfd99b4d0d0d9ed919726877510/evaluation/Evaluate.py【在百度中搜索论文，可以在“百度学术”中搜索到该论文】...
2019-09-19 09:54:55
562
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人