qq_36926037的博客

0 创建项目   scrapy startproject tencent 1 创建一个新的爬虫   在项目的spider文件夹下，运行cmd并执行：scrapy genspider tencent “tencent.com” 2 确定目标，编写items.py   获取职位名称、详细信息、 # Define here the models for your scraped items # # See documentation in: # https://docs.scrapy.org/en/late

  Scrapy 终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。 1 Scrapy Shell   ==Scrapy Shell可以模拟Scrapy发送请求。==既在代码中发送的请求是什么样子的，通过Scrapy Shell发送的请求就是什么样子的。   代码：scrapy shell “url”   1.当shell载入后，将得到一个包含response数据的本地response边浪，

学习目标   (1)创建一个Scrapy项目   (2)定义提取的结构化数据（Item）   (3)编写爬取网站的Spider并提取出结构化数据（Item）   (4)编写Item Pipeline来存储提取到的Item(既，结构化数据) 1 创建Scrapy项目   cmd终端执行：scrapy startproject XXX——创建名为xxx的项目   ITcast项目：     ①ITcast文件夹       spider文件夹         爬虫文件       _ _ init _ _.

1 什么是框架   框架：Django，flash，tensorflow…   框架：别人做好的地基，只需要在别人的基础上做自定义的修改。优势是能够协助开发者来实现快速的开发。 2 scrapy框架简介   scrapy框架：是用纯python实现一个为了爬取网站数据、提取结构i数据而编写的应用框架，用途非常广发。   用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常方便。（之前知识爬取网页，需要导入requests库或urllib库来爬取网页，导入beautifuls