spark
文章平均质量分 75
苏学算法
这个作者很懒,什么都没留下…
展开
-
Python 从 subprocess popen 运行的子进程中实时获取输出(shell 在 python 中执行)
有时候需要把 shell 命令在 python 中执行,如果使用的方式的话,标准输出只会打印在屏幕上,没办法赋给变量,这时候就可以用subprocess来实现。原创 2022-08-20 17:17:52 · 3262 阅读 · 0 评论 -
Pyspark 读 DataFrame 的使用与基本操作
一、安装基于 mac 操作系统安装 jdkjdk 下载地址安装 pysparkpip install pyspark二、基本操作2.1 建立SparkSession对象一切操作之前需要先建立一个SparkSession对象(运行Spark code的Entrance point,可以理解为交互部件):详见: pyspark.sql modulefrom pyspark.sql import SparkSessionspark = SparkSession.builder.ma原创 2020-12-20 11:19:41 · 10117 阅读 · 3 评论