python爬虫在踩坑中入门

URLLIB

关于urllib urllib2 urllib3的区别和关系请自行百度有博客写的很清楚，这里不做赘述。

发送请求

使用urlopen()

import urllib.request 
import ssl

ssl._create_default_https_context = ssl._create_unverified_context
response = urllib.request.urlopen('https://www.python.org')
print(response.read().decode('utf-8'))

运行结果

踩坑

urlopen()报错
看书上写使用urlopen()发送请求是这样写的：

import urllib.request

response = urllib.request.urlopen('https://www.baidu.com')
print(response.read().decode('utf-8')

如果这样写的话会报urllib.error.URLError错误
解决方法就是加上ssl._create_default_https_context = ssl._create_unverified_context
参考博客：
https://blog.csdn.net/qq_25403205/article/details/81258327

参考书籍：
《python3网络爬虫开发实战》崔庆才

urlopen()的timeout参数

用于设置请求时间，如果超过设定的时间还没有得到服务器的响应则抛出异常:

urllib.error.URLError: <Urlopen error timed out>

可以通过设置timeout来跳过长时间未响应的网页。

正则表达式

贪婪匹配：.*
非贪婪匹配：.*?

伪装User-Agent

这里使用fake-useragent这个库来生成。

安装库

安装命令：

pip3 install fake-useragent

如果不能科学上网下载失败或较慢可以使用清华镜像源下载

安装命令：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple fake-useragent

使用

from fake_useragent import UserAgent

ua = UserAgent(verify_ssl=False)#这里注意verify_ssl这个参数不设置为false可能会报错
headers = {'User-Agent': ua.random}
print(headers)#查看随机生成的agent

可能遇到的问题

如果遇到fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached很可能是没挂梯子出去。个人挂梯子出去就解决了。
如果不能解决建议百度其他博客，相关内容很多。

To be continued…