Spark
「已注销」
这个作者很懒,什么都没留下…
展开
-
【Spark】Spark常用方法总结4-SparkStreaming(Scala版本)
编程入口object Main4 { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().master("local[*]").appName("test").getOrCreate() spark.sparkContext.setLogLevel("...原创 2020-01-29 19:07:42 · 433 阅读 · 0 评论 -
【Spark】Spark常用方法总结4-SparkStreaming(Python版本)
SparkStreamingContextspark = SparkSession.builder.appName('test').master('local[*]').getOrCreate()ss = StreamingContext(spark.sparkContext, 10)lines = ss.socketTextStream('10.255.77.183', 10086)r...原创 2020-01-29 18:57:48 · 442 阅读 · 0 评论 -
【Spark】Spark常用方法总结3-DataFrame常用方法(Python版本)
创建df1 = spark.read.load(r'E:\常用基础数据\po.csv', 'csv')schema = StructType( fields=list(map(lambda x: StructField(x, StringType(), True), [chr(ord('A') + x) for x in range(10)])))df1 = spark.read....原创 2020-01-29 18:48:44 · 543 阅读 · 0 评论 -
【Spark】Spark常用方法总结2-RDD的使用(Python版本)
生成RDDrdd1 = sc.parallelize([['zhangsan', 'M', 29], ['lisi', 'F', 22], ['wangwu', 'M', 30]])rdd2 = sc.textFile(r'E:\常用基础数据\po.csv')collect、collectAsMap、firstcollect获取全部rdd元素, 生成listcollectAsMap获取...原创 2020-01-29 18:45:10 · 703 阅读 · 0 评论 -
【Spark】Spark常用方法总结1-创建编程入口(Python版本)
前言今天有时间,将自己的笔记分享出来,方便同僚查阅。不断详细与更新中。为了方便,例子都是以Python写的,后续也会有其他语言的版本。创建编程入口SparkContext入口from pyspark import SparkConf, SparkContextif __name__ == '__main__': conf = SparkConf().setAppName("te...原创 2020-01-29 18:35:19 · 343 阅读 · 0 评论