1 明确编写爬虫目的是要收集文字类还是图片类的数据
2 确定要在什么样的网站上找你需要的数据
3 区分网站的主要和次要的关系-哪些网站有效信息多定为主要
4 爬虫的外延--是否需要从计划以外的网站寻找所需的信息
5 爬虫的外延2之跳转返回到开始设置的节点,防止爬一堆垃圾信息
6 如果爬虫被反爬虫机制捕获了如何处理和如何与网站管理者交流
1 明确编写爬虫目的是要收集文字类还是图片类的数据
2 确定要在什么样的网站上找你需要的数据
3 区分网站的主要和次要的关系-哪些网站有效信息多定为主要
4 爬虫的外延--是否需要从计划以外的网站寻找所需的信息
5 爬虫的外延2之跳转返回到开始设置的节点,防止爬一堆垃圾信息
6 如果爬虫被反爬虫机制捕获了如何处理和如何与网站管理者交流