scrapy
柳风123
这个作者很懒,什么都没留下…
展开
-
scrapy 安装
学习scrapy并不需要自己python基础多么好(我就是吃果果的例子),相反其实只要浏览过一遍python基础知识,就可以学习scrapy框架了,因为框架都是将比较复杂的内容封装,提供给用户一些简单的API。所以完全可以在学习scrapy框架的时候强化python基础。环境python : 3.5scrapy: 1.5(当前最新)pycharm: community(社区版,免费...原创 2018-04-16 16:45:07 · 381 阅读 · 0 评论 -
Scrapy item数据存储到mysql
以下操作是在window环境下进行的1.下载mysql 的驱动 pip install mysqlclient2.新建pipelineItem 类class MysqlPipelineItem(object): def __init__(self): pass def process_item(self,item,spide...原创 2018-04-19 22:30:12 · 636 阅读 · 0 评论 -
Scrapy Selector选择器
一般我们爬取的内容的html网页,并且从网页中获取我们想要的数据。Scrapy提供了Selectors(选择器)通过xpath和css等方式,选取指定的元素SelectorSelector构造器需要text或者TextResponse参数。Selector类提供了xpath,css,re三种方式选取元素。xpath() 返回SelectorList 实例css() 返回...原创 2018-04-19 22:35:30 · 2445 阅读 · 0 评论