02-Spark基础

拓展

Anaconda中的虛拟环境

在不同的项目中，可能会使用不同的Python版本。为了避免不同项目的Python版本冲突，可以针对不同项目，创建不同Python的环境，该环境
就叫做虚拟环境。Anaconda中默认有一个虚拟环境base

操作指令

# 查看所有的虚拟环境
conda info --envs
# 创建新的虚拟环境
conda create -n test python=3.10 
# 切换虚拟环境
conda activate test
# 退出虚拟环境
conda deactivate
# 删除虚拟环境，--all代表删除该环境的全部数据
conda remove -n test --all

七、Pycharm远程开发配置

7.1 配置ssh连接

Settings下的SSH Configurations

在Pycharm中可以使用各种命令操作远程服务器

7.2 远程Python环境配置

Settings下的Python Interpreter

选择已经配置好ssh服务器信息

选择远程服务器上的Anaconda的Python环境
下面为项目同步到远程的文件目录，默认在tmp目录下

可通过该选项查看远程同步目录配置

自动上传本地文件到远程服务器映射的目录

如果没有自动上传，可点击该选项手动上传

7.3 配置数据库

选择想要连接的数据库

点击选择想要展示的数据库，勾选第一个All schema可选择展示全部数据库

可打开SQL窗口编写SQL代码

还可以连接Spark

7.4 执行PySpark代码

可能会报环境问题

在远程服务器上/etc/profile配置文件中已经配置过JAVA_HOME信息，为什么在Pycharm上远程执行代码会报错，找不到JAVA_HOME的配置信息？

原因：远程运行代码文件是读取不到/etc/profile中的配置信息的

解决：

• 方案1：
  • 使用Python的os模块指定环境位置
    • os模块是Python操作系统的模块，os模块下有很多操作系统的方法

import os

# 代码中指定环境位置
os.environ['JAVA_HOME'] = '/export/server/jdk'

• 方案2:
  • 远程运行代码无法读取/etc/profile文件内容，但是可以读取/etc/bashrc文件内容
    • 将/etc/profile中的配置信息复制粘贴到/etc/bashrc中

将profile中的export部分内容复制到bashrc下