python及其依赖管理

创建虚拟环境

用于创建和管理虚拟环境的模块称为venv。venv通常会安装您现有的最新版本的Python。如果您的系统上有多个版本的Python，您可以通过运行python3或您想要的任何版本来选择特定的Python版本。
指定D:\sore创建虚拟环境tutorial-env

# 进入指定目录
cd /Users/yyyyjinying/demo-file/git/python-project
# 在当前目录创建虚拟环境文件夹my_venv
python3 -m venv my_venv
# 激化虚拟环境
source my_venv/bin/activate
(my_venv) yyyyjinyingdeMacBook-Pro
# 安装包
pip install some_package
# 推出环境
deactivate

离线安装.whl依赖包

# 安装
pip install pyspark
# 下载
pip download -d ./ pyspark
py4j-0.10.9.7-py2.py3-none-any.whl
pyspark-3.5.0.tar.gz
# 迁移
rsync -rv pyspark-3.5.0.tar.gz py4j-0.10.9.7-py2.py3-none-any.whl shhadoop02:/home/hadoop/pythonwhl
# 离线安装
pip install --no-index --find-link /home/hadoop/pythonwhl pyspark

只有一个源码压缩包（例如 vincenty-0.1.4.tar.gz），并且需要在一个离线环境中安装它

将下载好的 vincenty-0.1.4.tar.gz 文件复制到离线计算机上的某个位置，比如 /home/user/

tar -xzf /home/user/vincenty-0.1.4.tar.gz -C /home/user/
cd /home/user/vincenty-0.1.4/
python setup.py install

pycharm开发使用虚拟环境

随便选择一个项目文件，设置setting中项目python解析器，配置现有环境，选择我们本地的虚拟环境，(tutorial-env) PS D:\sore\tutorial-env\Scripts\python.exe

window的python版本管理

每次进入都需要使用管理员身份打开window powershell
进入D:\sore\tutorial-env

Script\Activate.ps1

pip 命令

(tutorial-env) PS D:\sore\tutorial-env\Scripts>
# 将package记录到requirements.txt会自动更新
pip freeze > requirements.txt
# 指定安装包
pip install -i https://mirrors.aliyun.com/pypi/simple/ [package_name](pandas)
pip show [package_name]
pip list
pip install --upgrade SomePackage
pip uninstall requests

cat requirements.txt
novas==3.1.1.3
numpy==1.9.2
requests==2.7.0

安装python

1.phthon官网安装指定的稳定版，执行python-3.11.5-amd64.exe勾选path安装；
2.在Windows powershell中查看，python是否配置成功

在D:\sore\tutorial-env\Scripts下有执行脚本activate deactivate激活和退出
有两种使用虚拟环境的方式：
一种CMD
一种window powerShell
具体参考：https://blog.csdn.net/m0_61155226/article/details/131670779

# 每次换换电脑安装python 依赖包版本号经常对不上安装报错requirements.txt指定版本
# apipkg==1.5
pip freeze > requirements.txt
pip list
pip install -r ./requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
# 指定安装包
pip install -i https://mirrors.aliyun.com/pypi/simple/ [package_name]

root用户安装anaconda3

参考安装教程： https://blog.csdn.net/Milogenius/article/details/127477815
/export/server/anaconda3
在安装完成后记着：

su - root
显示如下

(base) [root@node2 ~]# conda -V
conda 4.10.1

默认是：base环境
conda deactivate
conda activate base

切换hadoop用户添加.bashrc

发现不能使用conda
 [root@node2 ~]# chown -R hadoop:hadoop anaconda3
  [root@node2 ~]# cp ~/.condarc /home/hadoop
 [root@node2 ~]# vim ~/.bashrc
 [root@node2 ~]# cp ~/.bashrc /home/hadoop
 [root@node2 ~]# su - hadoop
 (base) [hadoop@node2 ~]$ conda -h

.bashrc的用户下，制定了一系列的环境配置

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/mnt/bigdata/components/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "/mnt/bigdata/components/anaconda3/etc/profile.d/conda.sh" ]; then
        . "/mnt/bigdata/components/anaconda3/etc/profile.d/conda.sh"
    else
        export PATH="/mnt/bigdata/components/anaconda3/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

同步其他服务器

cd /export/server
scp -r anaconda3/ node1:`pwd`/
scp -r anaconda3/ node2:`pwd`/
su - hadoop
scp .bashrc node2:`pwd`/
su - root
scp .bashrc node2:`pwd`/

conda

conda search “^python$”

conda创建新的 Python 环境，并指定你想要的 Python 版本：

conda create -n myenv python=<desired_python_version>
例如：

conda create -n myenv python=3.8.8
conda activate myenv
python --version
python -V

在虚拟环境内安装包

conda install python
pip install pyhive pyspark jieba -i https://pypi.tuna.tsinghua.edu.cn/simple

conda info --envs

默认base：
/export/server/anaconda3/bin/python

虚拟环境安装在指定文件夹下anaconda3/envs

查看该环境的安装包

 conda list

退出conda管理

 conda deactivate

在虚拟环境手动安装依赖包

base虚拟环境的安装

cd /home/shhadoop/.local/lib/python3.8/site-packages
或者
cd  /usr/local/software/anaconda3/lib/python3.8/site-packages
scp -r happybase shhadoop02:/export/server/anaconda3/lib/python3.8/site-packages
scp -r happybase-1.2.0.dist-info shhadoop02:/export/server/anaconda3/lib/python3.8/site-packages
shhadoop02:/export/server/anaconda3/lib/python3.8/site-packages
scp -r thriftpy2 shhadoop02:/export/server/anaconda3/lib/python3.8/site-packages
scp -r thriftpy2-0.4.17.dist-info shhadoop02:/export/server/anaconda3/lib/python3.8/site-packages