大数据
文章平均质量分 77
小羽筱筱
这个作者很懒,什么都没留下…
展开
-
03-Spark集群模式
主要介绍基于yarn的集群模式。原创 2024-08-16 22:26:02 · 419 阅读 · 0 评论 -
02-Spark基础
在不同的项目中,可能会使用不同的Python版本。为了避免不同项目的Python版本冲突,可以针对不同项目,创建不同Python的环境,该环境就叫做虚拟环境。Anaconda中默认有一个虚拟环境base操作指令。原创 2024-08-11 23:05:46 · 286 阅读 · 0 评论 -
使用idea解决git冲突
冲突发生在push远程分支过程中,在idea中可以方便的去解决git冲突,idea会智能的判断冲突的类型,如果可以直接合并则会自动完成合并,如果不能直接合并会让开发人员手动完成合并。原创 2024-08-11 16:34:17 · 451 阅读 · 0 评论 -
01-Spark基础
在使用python3 执行python代码时, 是从Anaconda中的python环境中找pyspark进行导入的,所以需要在该python环境下安装pyspark模块。为什么使用pyspark指令进入终端就可以直接输入pyspark命令,可以直接执行计算,而编写python脚本就需要安装pyspark模块才能执行代码?当执行pyspark指令,会进入spark的安装包目录下的python目录下找到pyspark进行导入,运行代码。本地模式使用的是本地资源,不需要做其他配置,解压完成后就可以直接使用。原创 2024-08-10 21:59:55 · 826 阅读 · 0 评论