参考书目 《python网络爬虫从入门到实践》唐松
第一章 网络爬虫入门
1.1 robots协议
举例:查看京东的robots协议
京东robots协议地址
User-agent: * (代表所有用户必须遵守下面的规定)
Disallow: /(/代表根目录,不可获取)
1.2 python爬虫的流程
(1)获取网页
获取网页的基础技术:requests、urllib和selenium
获取网页的进阶技术:多进程多线程抓取、登录抓取、突破IP封禁和使用服务器抓取
(2)解析网页
解析网页的基础技术:re正则表达式、Beautifulsoup和lxml
解析网页的进阶技术:解决中文乱码
(3)存储数据
存储数据的基础技术:存入txt文件和存入csv文件
存储数据的进阶技术:存入MySQL数据库和MongoDB数据库