- 博客(3)
- 收藏
- 关注
RSS订阅转载 foreach与foreachPartition
概述RDD.foreachPartition/foreach这两个action的操作: 这两个action主要用于对每个partition中的iterator实行迭代的处理。通过用户传入的function对iterator进行内容的处理。foreach的操作在foreach中，传入一个function，这个函数的传入参数就是每个partition中，每次的foreach得到的一个rdd的kv实例，...
2018-07-09 10:47:11
4881
原创 初始化SparkContext
from pyspark import SparkConf, SparkContextconf = SparkConf().setMaster("local").setAppName("My App")sc = SparkContext(conf = conf)lines = sc.textFile("README.md")pythonLines = lines.filter(lambda lin...
2018-07-09 09:50:08
1354
原创 Python学习笔记
Python中的变量是动态变量，可以把任意数据类型赋值给变量，同一个变量可以反复赋值，而且可以是不同类型的变量，这种变量本身类型不固定的语言称之为动态语言；而类似Java、C这种就是静态语言，在定义变量时必须指定变量类型，如果赋值的时候类型不匹配，就会报错。
2017-12-11 13:47:56
117
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人