![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark:pysaprk
君子慎独_诚意
一体化网络、网络安全
展开
-
learning pyspark:chapter1.understanding spark
what is Apache Spark? Apache Spark是一个开源的、功能强大的分布式查询和处理引擎。 Spark Jobs and APIs 执行过程:Execution process 对于spark应用,它的驱动进程在master结点上,执行进程分布在worker结点上。 spark job 可以看作式一有向无环图过程 ...原创 2018-11-10 19:18:31 · 161 阅读 · 0 评论 -
Pysaprk Notes:pyspark sql model
sparksession:使用数据集或DataFrameAPI进行spark编程的入口点。 sparksession可以用来创建DateFrame,将DataFrame当作数据表数据,可以在这个数据表上执行sql语句,也可以缓存数据表,从本地读取文件等。 用下面的方法来创建一个sparksession >>> spark = SparkSession.builder \\...原创 2018-11-05 16:32:47 · 533 阅读 · 0 评论