Python中常见的问题

• 问题描述: 在linux环境下部署Python项目时常常报错无法找到自己编写的模块

解决方案

export PYTHONPATH=项目路径

---

• 问题描述:Scrapy防封之settings文件设置

解决方案

• 设置动态USER-AGENT

  • 安装scrapy-fake-useragent模块

  • 在settings.py中添加配置

DOWNLOADER_MIDDLEWARES = {
   'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware':None,# 关闭默认方法
   'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware':400,# 开启
}

---

• 问题描述: 设置download_delay

他的作用主要是设置下载的等待时间，下载等待时间长，不能满足段时间大规模抓取的要求，太短则大大增加了被ban的几率

DOWNLOAD_DELAY = 3

• 问题描述: 禁止cookies

COOKIES_ENABLES=False

---

• 问题描述: pyinstaller 打包报错

解决方案

重新编译Python3并安装，进入到Python解压目录执行命令

./configure --prefix=/usr/local/python3/ --enable-shared
make && make install

---

• 问题描述: pip 安装模块报错

解决方案

yum -y install openssl openssl-devel

重新编译安装python

---

• 问题描述: 安装bs4报错

bs4.FeatureNotFound: Couldn’t find a tree builder with the features you requested: lxml. Do you need to install a parser library?

解决方案

pip3 install lxml==4.5.0

---

• 问题描述：国产环境下pip3安装个别模块报错

报错error: command ‘aarch64-linux-gnu-gcc’ failed with exit status 1

解决方案

1. 配置/etc/apt/source.list，见【常见问题总结】=>【国产操作系统】

2. apt-get update

3. apt-get install python3.5-dev

4. pip install 模块名称

---

• 问题描述：window系统下python3 安装模块报错

error:Unable to find vcvarsall.bat

解决方案

1. https://www.microsoft.com/zh-CN/download/details.aspx?id=53840

2. 下拉选择语言选择中文版本

---

• 问题描述：linux安装完python后，无法在命令行中使用删除键

解决方案

1. yum -y install readline-devel

2. 重新./configure，make，make install

---

• 问题描述：No mudule named “_ctypes”

解决方案

1. yum install -y libffi-devel

---

• 问题描述：No mudule named “zlib”

解决方案

1. yum install -y zlib zlib-devel openssl

---

• 问题描述：libGL.so.1: cannot open shared object file:No such file or directory

解决方案

1. pip install opencv-python-headless

---

• 问题描述：ImportError: /lib64/libstdc++.so.6: version
  ‘CXXABI_1.3.8’ not found (required by /opt/app/python3.8.10/lib/python3.8/site-packages/paddle/fluid/core_avx.so)

解决方案

1. 参考链接：https://blog.csdn.net/weixin_45697805/article/details/108667982
2. libstdc.so_.6.0.26下载链接：https://www.vuln.cn/wp-content/uploads/2019/08/libstdc.so_.6.0.26.zip
3. 解压，并备份之前的/usr/lib64/libstdc++.so.6
4. 创建软连接ln -s libstdc++.so.6.0.26 /usr/lib64/libstdc++.so.6
5. strings /usr/lib64/libstdc++.so.6|grep CXXABI可以CXXABI_1.3.8即可

---

• 问题描述

ExternalError: CUDA error(100), no CUDA-capable device is detected.
[Hint: ‘cudaErrorNoDevice’. This indicates that no CUDA-capable devices were detected by the installed CUDA driver. ] (at …\paddle\fluid\platform\gpu_info.cc:108)
[operator < fill_constant > error]

解决方案

import os
os.environ["CUDA_VISIBLE_DEVICES"] = '0' #一定要加在文件的最顶部，再引入其他的深度学习库！
import paddle

---

• 问题描述

ModuleNotFoundError: No module named ‘setuptools_rust‘

解决方案

pip3 install -U pip setuptools

---

• 问题描述

ModuleNotFoundError: No module named ‘skbuild‘

解决方案

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple scikit-build

---

• 问题描述

ModuleNotFoundError: No module named ‘_bz2’

解决方案

yum install -y bzip2-devel
# 重新编译python，在安装

---

• 问题描述

ImportError: No module named _ssl

解决方案

yum install openssl-devel -y
# 重新编译python，在安装

---

• 问题描述

ModuleNotFoundError: No module named ‘_lzma’

解决方案

yum install xz-devel
yum install python-backports-lzma
pip install backports.lzma

---

• 问题描述

“/lib64/libc.so.6: version `GLIBC_2.18’ not found (required by /lib64/libstdc++.so.6)”

解决方案

curl -O http://ftp.gnu.org/gnu/glibc/glibc-2.23.tar.gz
tar zxf glibc-2.23.tar.gz 
cd glibc-2.18/
mkdir build
cd build/
../configure --prefix=/usr
make -j2
make install

ldd --version

# 如果遇到报错：gawk: error while loading shared libraries: /lib64/libm.so.6: invalid ELF header

• 问题描述

pip install psyconpg 安装报错

解决方案

# 配置yum源
# 安装相关依赖库
yum install postgresql-devel
yum install python-devel