![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
QuinnJob
这个作者很懒,什么都没留下…
展开
-
Python : 日期学习demo
结果原创 2021-05-20 19:44:55 · 67 阅读 · 0 评论 -
pyspark学习:demo2 (SparkSession)
前言:SparkSession对象为用户提供了创建dataframe对象,读取外部数据源并且转化为DataFrame对象以及执行sql的api。还包含用户对spark集群参数调控,是环境运行的基础。 ##背景因数据量问题,完全无法通过hive加工,通过pyspark对数据二次落表 继续通过sh启动脚本 ...原创 2021-05-19 18:31:26 · 173 阅读 · 0 评论 -
Pyspark 学习 demo(1)
##学习完W3school中python基本后步入pyspark正式学习 DF学习 (DataFrame是一种以RDD为基础的分布式数据集,类似于传统数据库中的二维表格。DataFrame与RDD的主要区别在于,前者带有schema元信息) 自信满满 python XXX.py 报错 :ImportError: No module named pyspark 无法启动 遂更改为:spark-submit xxx.py ,日志报错。 将python脚本通过sh命令启动: 保存启动 sh文件。 yarn中原创 2021-05-18 17:09:02 · 429 阅读 · 0 评论