scrapy
后青春诗ing
这个作者很懒,什么都没留下…
展开
-
scrapy-爬取百度贴吧之物流内容。
今天作者分享的是工作中所做的舆情系统,爬取百度贴吧中的各个物流贴吧网站的信息,scrapy用的不是特别多可能代码会有点low,希望大家可以见谅哈。直接上代码如下:items文件中的信息:class LouzhuItem(scrapy.Item): """记录楼主信息""" lzhu_name = scrapy.Field() # 楼主名字 lzhu_id原创 2018-09-28 21:22:10 · 401 阅读 · 0 评论 -
scrapy-巴巴物流网站信息采集。
这里作者就不讲其他文件的配置,直接上代码吧,如下:# coding=utf-8import scrapyimport reimport timefrom cn56_net.items import Cn56NetItemclass WlzxSpider(scrapy.Spider): name = 'wlzx' allowed_domains = ['babasupe...原创 2018-09-28 21:33:05 · 241 阅读 · 0 评论 -
scrapy-设置请求头
当我们大量使用scrapy 请求一个网站的时候我们知道scrapy默认的请求头是: 可以看到默认的请求头就是scrapy,这样就很容易导致浏览器封掉的可能,这个时候我们就需要给请求加一个请求头来模拟浏览器,一般的可以这样做: 可以直接在spider文件中添加custom_settings 这个设置,代码如下:custom_settings = { 'LOG_LEVEL'...原创 2018-08-02 19:43:55 · 24956 阅读 · 7 评论