python 爬虫学习笔记之知识储备
序
因为上学期笔者在学校里学习了python语言，加之过年期间的一系列机缘巧合，笔者将爬虫作为这学期的课外学习目标，计划一学期内将爬虫学完，可能更新不会很快，因为平时还会打打cf和atcoder的比赛。主要的学习资料是B站路飞学城IT
定义
通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。
简单分类
- 通用爬虫
抓取系统重要组成部分。抓取的是一整张页面的内容/
- 聚焦爬虫
建立在通用爬虫的基础上。抓取的是页面上特定的局部内容。
- 增量式爬虫
检测网站中数据更新的情况。只会抓取网站中最新更新出的内容。
request 模块
python自带的关于网络请求的模块。
模拟访问浏览器的过程
也可看做写爬虫的编码流程
- 指定url
- 发起请求
- 获取相应数据
- 持久化存储
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
