Python爬虫学习笔记（无法安装包+CMD使用pip安装的包无法在pycharm中使用）

背景：

1). 确保已经安装需要的Python版本

2). 确保已经将Python的目录加入到环境变量中

3）.基础安装方法请看这篇博客

原因：

1.无法安装包往往是因为网络的原因，使用清华镜像安装也不是每次都可以

2.pycharm无法使用包：这种情况往往是我们在cmd中使用pip安装包的whl文件时出现，因为网络的原因使用下载的whl文件安装包是一个很好的选择，这里提供另外一种选择以及解决问题的方法

解决：

安装包：

1.从网盘或者博客中搜索对应本机python版本的包的whl文件，打开CMD，cd到保存whl文件的文件夹下，使用

pip install 包名.whl安装即可（注意：一定要安装对应python版本的包 ）

2.到 Pypi网站上搜索并下载包名对应的setup.py文件，一般是tar.gz文件而且是没有版本限制的，下载解压。

使用CMD 命令cd到刚才解压的文件的文件夹下，输入python setup.py build进行编译

最后使用python setup.py install安装即可

3.解决CMD使用pip安装的包的whl文件无法在pycharm中使用的问题：

在安装成功whl文件之后，命令行中会显示包从哪儿安装到了哪儿，即 ***from(whl文件保存的文件夹)in（whl文件安装的地方），到whl文件安装的地方把刚才安装好的包的有关文件夹复制到pycharm你的项目的venv->Lib->site-packages文件夹下即可使用该包 

python 常用的几个镜像仓库

Python官方源： pypi.python.org/pypi/

豆瓣：http://pypi.douban.com/simple/

          https://pypi.douban.com/simple/
清华：https://pypi.tuna.tsinghua.edu.cn/simple

加利福尼亚大学：https://www.lfd.uci.edu/~gohlke/pythonlibs/

中国科技大学： https://mirrors.ustc.edu.cn/pypi/web/simple

阿里：https://mirrors.aliyun.com/pypi/simple/

Python各版本下载地址：

官方地址：https://www.python.org/downloads/

Anaconda各版本下载地址：

官方地址：https://repo.anaconda.com/archive/

清华大学镜像：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

Python一键安装全部依赖包的方法

优点：只需要一个简单的pip命令就能完成 (安装比较多的python包时，不必手动一个一个下载安装)

1). python一键生成依赖包：（requirements.txt用来记录项目所有的依赖包和版本号）

    > pip freeze >requirements.txt

2).python一键安装依赖包：（一次性安装requirements.txt里面所有的依赖包）

  pip install -r requirements.txt

 

 

新的Python包管理器：pipenv

用pip install pipenv来安装pipenv，然后在你的项目的根目录下面运行pipenv --three来生成Python3的虚拟环境，或者pipenv --two生成Python2环境。

这样pipenv会在这个项目里创建一个pipfile的文件，就像package.json一样，里面记录了项目所有的依赖包版本信息。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

[[source]]   url = "https://pypi.python.org/simple" verify_ssl = true name = "pypi"     [packages]       [dev-packages]       [requires]   python_version = "3.6"

要运行pipenv shell进入虚拟环境，可以输入exit退出。pipenv install可以一键安装所有依赖包，还会生成pipfile.lock文件，里面记录了这次安装时的依赖包。

在pipenv install后面加上包名称，比如pipenv install flask可以安装Flask到生产环境，再加参数，比如pipenv install flask --dev就会安装到开发环境。

类似地，把上面的install改成uninstall就会卸载依赖包，pipenv uninstall --all可以卸载项目下所有的包。就是这么用的，更多的命令请查看pipenv官网。