spark
关注
分享
扫一扫
文章平均质量分 86
赫加青空
纸上得来终觉浅，绝知此事要躬行
展开
-
Python调用pyspark报错整理
Pycharm配置了SSH服务器和Anaconda的python解释器，如果没有配置可参考。原创 2024-02-04 12:23:30 · 3346 阅读 · 2 评论 -
大数据单机学习环境搭建(10)Pycharm中操作spark和hive
目录1.环境准备2.Pycharm连接Hive3.Pycharm执行py脚本3.1SparkSql操作数据的方式3.2一个完整的pyspark脚本1.环境准备需要提前准备Hadoop、Hive、Spark和Anaconda，以及Pycharm连接Linux的Anaconda环境，具体见本人如下相关文章。Hadoop本地单节点安装Linux使用yum安装MysqlHive单节点安装和启用Spark单节点安装与pyspark使用Linux单节点Anaconda安装和Pycharm连接另外，还可以原创 2022-05-20 16:07:16 · 3180 阅读 · 0 评论 -
大数据单机学习环境搭建(9)Spark单节点安装与pyspark使用
Spark Local模式环境部署和使用，包含python操作sparksql的使用案例原创 2022-05-20 11:35:01 · 2262 阅读 · 0 评论 -
大数据单机学习环境搭建(8)Linux单节点Anaconda安装和Pycharm连接
目录1.Anaconda安装1.1下载1.2安装1.3验证2.环境使用和第三方库(包)安装2.1新环境搭建2.2pyspark安装包pip install3.Pycharm连接3.1解释器添加3.2环境验证1.Anaconda安装1.1下载官方下载Linux版个人下载资源分享1.2安装1.自行上传到Linux系统/opt文件夹下2.执行安装命令按图执行# 安装anacondash Anaconda3-2021.05-Linux-x86_64.sh按图操作直至完成3.重启环境原创 2022-05-19 11:46:49 · 866 阅读 · 0 评论