scrapy
文章平均质量分 77
lly2234317974
这个作者很懒,什么都没留下…
展开
-
Scrapy创建项目以及setting设置
一、Scrapy创建项目1.cmd命令 1.cd Desktop 2.scrapy startproject 文件名 3.cd 文件名 4.scrapy genspidr 爬虫名字 网站域名、二、setting设置 1.robots.txt协议(爬虫协议),默认True遵守 2.延迟发送请求 3.禁用cookie追踪 4.设置user-ag...原创 2018-03-02 21:44:46 · 1447 阅读 · 0 评论 -
爬取51和智联的招聘信息
爬虫代码:# -*- coding: utf-8 -*-import scrapy,requestsfrom ..items import JOBspiderItemclass A51jobSpider(scrapy.Spider): name = '51job' allowed_domains = ['51job.com'] start_urls = [ 'htt...原创 2018-03-02 21:58:30 · 895 阅读 · 0 评论