![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
愚人弘毅
认知 行动 坚持
展开
-
数据持久化
笔趣阁数据持久化"""1. 在 __init__() 中连接数据库并创建游标对象2. 在数据处理函数中将所抓取的数据处理成列表,使用execute()方法写入数据库3. 数据抓取完成后关闭游标及断开数据库连接"""import reimport requestsimport timeimport randomimport pymysqlclass NovelSpider: def __init__(self): self.url = 'https://www.原创 2021-01-08 16:46:49 · 131 阅读 · 3 评论 -
scrapy框架
1. scrapy框架1.1 scrapy概述定义异步处理框架,可配置和可扩展程度非常高,Python中使用最广泛的爬虫框架安装【1】Ubuntu安装 sudo pip3 install Scrapy 【2】Windows安装 python -m pip install Scrapy 如果安装过程中报如下错误 : 'Error: Microsoft Vistual C++ 14.0 is required xxx' 则安装Windows下的Micr原创 2021-01-08 16:51:42 · 161 阅读 · 0 评论 -
selenium 爬虫
1. selenium爬虫1.1 selenium概述【1】定义 1.1) 开源的Web自动化测试工具 【2】用途 2.1) 对Web系统进行功能性测试,版本迭代时避免重复劳动 2.2) 兼容性测试(测试web程序在不同操作系统和不同浏览器中是否运行正常) 2.3) 对web系统进行大数量测试 【3】特点 3.1) 可根据指令操控浏览器 3.2) 只是工具,必须与第三方浏览器结合使用 【4】安装 4.1) Linux:原创 2021-01-12 09:09:19 · 13169 阅读 · 5 评论 -
小说爬虫
笔趣阁小说爬虫项目需求【1】官网地址:https://www.biqukan.cc/list/ 选择一个类别,比如:'玄幻小说' 【2】爬取目标 '玄幻小说'类别下前20页的 2.1》小说名称 2.2》小说链接 2.3》小说作者 2.4》小说描述思路流程1】查看网页源码,确认数据来源 响应内容中存在所需抓取数据【2】翻页寻找URL地址规律 第1页:https://www.biqukan.cc/fenlei1/1.html 第2页:https://www.原创 2021-01-08 16:54:29 · 1167 阅读 · 0 评论 -
爬虫概述
文章目录爬虫知识点:1. 爬虫的概念知识点:了解 爬虫的概念2. 爬虫的作用知识点:了解 爬虫的作用3. 爬虫的分类3.1 根据被爬取网站的数量不同,可以分为:3.2 根据是否以获取数据为目的,可以分为:3.3 根据url地址和对应的页面内容是否改变,数据增量爬虫可以分为:知识点:了解 爬虫的分类4. 爬虫的流程知识点:掌握 爬虫的流程爬虫知识点:了解 爬虫的概念了解 爬虫的作用了解 爬虫的分类掌握 爬虫的流程1. 爬虫的概念模拟浏览器,发送请求,获取响应网络爬虫原创 2021-01-09 10:25:53 · 197 阅读 · 0 评论