爬虫学习01

爬虫学习01

安装第三方库fake_useragent时出现问题

1. 为pip版本过低，在cmd中输入：easy_install -U pip
2. 使用pip list查看python中安装了那些第三方库
3. 假如像我一样手一滑把pip下载了，可以进入https://pypi.org/project/pip/#files这里下载pip，然后解压，进入解压后的文件夹，输入python setup.py install安装pip
4. 之后可以通过pip看结果
5. 之后顺利安装fake_useragent

国内镜像源

1. https://pypi.tuna.tsinghua.edu.cn/simple #清华
2. http://mirrors.aliyun.com/pypi/simple/ #阿里云
3. https://pypi.mirrors.ustc.edu.cn/simple/ #中国科技大学
4. http://pypi.hustunique.com/ #华中理工大学
5. http://pypi.sdutlinux.org/ #山东理工大学
6. http://pypi.douban.com/simple/ #豆瓣

临时修改镜像源

pip install *** -i http://mirrors.aliyun.com/pypi/simple/

Windows下修改镜像源

在users文件夹下创建pip安装配置文件，文件名为pip.ini。一般路径为：C:\Users**\pip/pip.ini,其中**表示计算机使用者的名字。

[global]



index-url = https://pypi.tuna.tsinghua.edu.cn/simple

linux下修改配置文件的方法

修改~/.pip/pip.conf 该配置文件，如果文件不存在，则需自行创建文件。.表示Linux下的隐藏文件，.必须加上。

[global]



index-url = https://pypi.tuna.tsinghua.edu.cn/simple



[install]



trusted-host=mirrors.aliyun.com

*永久修改：*

一句命令换源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

使用fake_useragent库时出现解决fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached问题

fake_useragent中存储的UserAgent列表发生了变动，而本地UserAgent的列表未更新所导致的，在更新fake_useragent后报错就消失了。

pip install -U fake-useragent

Python的其他包也可以用这种方法完成更新pip install -U 包名。