![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy框架
nwj_03
码农一枚,努力修炼中
展开
-
Python中urlencode()使用
urlencode() 传入参数类型:字典 功能:将存入的字典参数编码为URL查询字符串,即转换成以key1=value1&key2=value2的形式 导入:from urllib.parse import urlencode 例如: from urllib.parse import urlencode baseurl = 'http://image.so.com/zj?' param...原创 2019-08-15 10:22:06 · 734 阅读 · 0 评论 -
scrapy框架设置多个User-Agent方法
1.在scrapy文件中创建一个py文件 示例如下user_agents.py user_agents = [ 'User-Agent,Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0', 'User-Agent,Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_...原创 2019-08-11 15:58:04 · 970 阅读 · 0 评论