python
我不吃海鲜
这个作者很懒,什么都没留下…
展开
-
Python学习日记 Scrapy框架 3.多网页爬虫
Python学习日记 Scrapy框架 3.多网页爬虫 在上一次的学习中,只能实现单一网页中的爬虫,遇到需要跳转的情况时,爬虫就无法良好的运行。 同样适用教师信息爬虫为例子。 1. 需要跳转的链接索引方式 通过F12开发者工具 通过上图,我们若需要跳入“安庆龙”链接时,通过右边可以发现是进入了http://me.sjtu.edu.cn/teacher_directory1/anqin...原创 2020-02-10 22:37:47 · 196 阅读 · 0 评论 -
Python学习日记 Scrapy框架 2. 爬取教师信息
Python学习日记 Scrapy框架 2. 爬取教师信息 1. 创建新项目 Terminal中进入待创建项目目录,输入scrapy startproject 项目名称 出现问题: 解决办法:在Terminal输入 pip install -I cryptography,等待其安装成功。然后再输入scrapy startproject Spider(自定义的项目名)即可创建成功。...原创 2020-02-07 21:23:08 · 416 阅读 · 0 评论 -
Python学习日记 Scrapy框架 1.Scrapy框架原理
Python学习日记 Scrapy框架 1.Scrapy框架原理 一、介绍 Scrapy是一个开源和协作的框架,最初是为了页面抓取(网络抓取)所设计的,使用它可以快速、简单、可扩展的方式从网站中提取所需的数据。目前Scrapy的用途十分广泛,可用作数据挖掘、检测、自动化测试等领域,也可以应用在获取API所返回的数据或者通用的网络爬虫。 Scrapy 是基于twisted框架开发而来...原创 2020-02-03 20:30:21 · 247 阅读 · 0 评论