scrapy
喝杯牛奶丶
这个作者很懒,什么都没留下…
展开
-
Scrapy框架基本使用
一 :创建scrapy项目scrpay startproject xxx二:创建Spider例如创建一个名为quotes的,爬取http://quotes.toscrape.com 的spiderscrapy genspider quotes quotes.toscrape.com查看生成的文件 quotes.py# -*- coding: utf-8 -*-impo...原创 2018-09-06 21:04:07 · 402 阅读 · 0 评论 -
利用Scrapy爬取伯乐在线文章并存取到mysql数据库
1.观察网址直接从(http://blog.jobbole.com/all-posts/)入手爬取伯乐在线所有文章,常规cmd创建项目2.spider中采取xpath和css选择器提取语法,提取出想要的item,item中格式化3.个人尝试伯乐在线反爬不是很强大,象征性的加了useragent,并么有设置延时。4.middleware设置保存到数据库,同步下载速度较慢。 理论可...原创 2019-02-14 16:57:32 · 142 阅读 · 0 评论