spark
andeyeluguo
这个作者很懒,什么都没留下…
展开
-
pyspark使用记录
2016年在清华研究--》启动python版的spark直接输入pyspark--》帮助pyspark --help---》执行python实例spark-submit /usr/local/spark-1.5.2-bin-hadoop2.6/examples/src/main/python/pi.py --》数据并行化,创建并行化集合输入pyspark>>>data=[1,2,...原创 2018-04-16 14:30:28 · 240 阅读 · 0 评论 -
pyspark使用小结
--》org.apache.spark帮助文档 http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.package--》帮助文档的使用在左侧搜索框中输入包名在右侧中查看相应函数及其用法例rdd中的RDD类具有函数repartition则输入rdd则会显示相应类RDD包-》类-》函数 的搜索--》spa...原创 2018-04-17 09:56:54 · 1532 阅读 · 0 评论