spark
qq_47506661
这个作者很懒,什么都没留下…
展开
-
Spark.sql Row
Row 使用 代码如下: from pyspark.sql import SparkSession from pysark.sql import Row row =Row(name="andi",age=26) >row[name] >andi >row[age] >29 >row2=Row('i love rui') >row2[0] ><Row('i love rui')> 写以上代码的原因主要是example/word_count.py下原创 2020-07-07 21:46:13 · 525 阅读 · 0 评论 -
Spark SQL学习之旅
Spark SQL学习总结 由于一门课程的总结上说:无论编程效率还是计算速度,都是非常快,因此为了走捷径,先选择学习sql部分 其实之前已经看了一段时间spark的官方文档,但是看只是看,不敲总是没有深刻的理解,因此开始敲代码之旅 最初买的spark学习书籍是基于1.x版本的。因此一直纠结于Spark对象初始化。 #1.x 版本入口–python from pyspark import SparkConf,SparkContext conf=SparkConf().setMaster("loca原创 2020-07-07 21:48:12 · 101 阅读 · 0 评论 -
Spark 安装
spark 安装 本文注意记载了笔者学习使用的spark的过程。 平台:win10 +ubuntu 安装方法: pip install pyspark 安装包文件大小217M 安装顺利,无报错。原创 2020-05-27 22:02:49 · 163 阅读 · 0 评论