1、headers
用于设置请求包中的请求头信息(在很多网站会在那个请求包头加一层验证来防止他人爬取数据)
当然前面已经讲过它是在哪里找
2、params
是用于模拟在发送动态请求时携带动态参数这种常用于那种在搜索框来进行爬取的行为
3、timeout
设置超时的时间,然后requests模块会默认发起请求(主要是为了防止那些网络问题引起的爬虫失败)
4、proxies
设置代理服务器(在某些网站还会限制同一IP地址大量访问,所以会有代理服务器这一方法出现)。
用于设置请求包中的请求头信息(在很多网站会在那个请求包头加一层验证来防止他人爬取数据)
当然前面已经讲过它是在哪里找
是用于模拟在发送动态请求时携带动态参数这种常用于那种在搜索框来进行爬取的行为
设置超时的时间,然后requests模块会默认发起请求(主要是为了防止那些网络问题引起的爬虫失败)
设置代理服务器(在某些网站还会限制同一IP地址大量访问,所以会有代理服务器这一方法出现)。