![](https://img-blog.csdnimg.cn/20200529100722247.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
scrapy框架学习笔记
这是博主学习scrpit框架的一些心得与笔记,写这些博客有两个目的,一是为了方便博主后期回顾关键知识点,二是希望这些博客能够帮到广大读者朋友。
我以山河入梦
这个作者很懒,什么都没留下…
展开
-
Scrapy的一些注意事项
Scrapy的一些注意事项 1、response 是一个’scrapy.http.response.html.HtmlResponse’对象。可以执行’xpath’和’css’语法来提取数据。 2、提取出来的数据,是一个’Selector’或者’SelectorList’对象。如果想要获取其中的字符串,那么应该执行’getall’或者’get’方法。 3、getall方法:获取’Selector’中的所有文本。返回的是一个列表。 4、get方法:获取的是’Selector’的第一个文本。返回的是一个str类原创 2020-06-01 14:40:03 · 246 阅读 · 0 评论 -
Scrapy项目目录结构
scrapy项目目录结构 items.py:用来存放爬虫爬取下来数据的模型。 middlewares.py:用来存放各种中间件。 pipelines.py:用来将items的模型存储到本地磁盘中。 settings.py:爬虫的一些配置信息(比如请求头、多久发一次请求、ip代理池等)。 scrapy.cfg:项目的配置文件。 spiders包: 所有的爬虫文件都存里面 ...原创 2020-05-29 17:15:30 · 208 阅读 · 0 评论 -
安装Scrapy框架
安装scrapy框架 1. 安装‘scrapy':通过 'pip install scrapy' 即可安装。 2. 如果在windows下,还需要安装 'pipwin32',如果不安装,那么以后运行scrapy项目的时候会报错。安装方式:'pip install pipwin32'. 3. 如果在Ubuntu下,还需安装一些第三方库:'sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-d原创 2020-05-29 16:24:24 · 235 阅读 · 0 评论