scrapy框架
nwj_03
码农一枚,努力修炼中
展开
-
Python中urlencode()使用
urlencode()传入参数类型:字典功能:将存入的字典参数编码为URL查询字符串,即转换成以key1=value1&key2=value2的形式导入:from urllib.parse import urlencode例如:from urllib.parse import urlencodebaseurl = 'http://image.so.com/zj?'param...原创 2019-08-15 10:22:06 · 735 阅读 · 0 评论 -
scrapy框架设置多个User-Agent方法
1.在scrapy文件中创建一个py文件示例如下user_agents.pyuser_agents = [ 'User-Agent,Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0', 'User-Agent,Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_...原创 2019-08-11 15:58:04 · 973 阅读 · 0 评论