- 博客(3)
- 收藏
- 关注
转载 foreach与foreachPartition
概述RDD.foreachPartition/foreach这两个action的操作: 这两个action主要用于对每个partition中的iterator实行迭代的处理。通过用户传入的function对iterator进行内容的处理。foreach的操作在foreach中,传入一个function,这个函数的传入参数就是每个partition中,每次的foreach得到的一个rdd的kv实例,...
2018-07-09 10:47:11 4916
原创 初始化SparkContext
from pyspark import SparkConf, SparkContextconf = SparkConf().setMaster("local").setAppName("My App")sc = SparkContext(conf = conf)lines = sc.textFile("README.md")pythonLines = lines.filter(lambda lin...
2018-07-09 09:50:08 1363
原创 Python学习笔记
Python中的变量是动态变量,可以把任意数据类型赋值给变量,同一个变量可以反复赋值,而且可以是不同类型的变量,这种变量本身类型不固定的语言称之为动态语言;而类似Java、C这种就是静态语言,在定义变量时必须指定变量类型,如果赋值的时候类型不匹配,就会报错。
2017-12-11 13:47:56 123
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人