1、理解的爬虫:用程序模仿人点击浏览器并访问网站
2、爬虫的目的:获取大量的数据,做数据分析
3、python爬虫的优势::请求模块、解析模块丰富成熟,强大的Scrapy网络爬虫框架
4、爬虫的分类:通用网络爬虫(如搜索引擎)和聚焦网络爬虫(自编程序)
5、爬取数据的思路:确定需要爬取的地址-->请求模块向该地址发出请求,并获取响应--->从响应内容提取相关数据
---->保存数据--->如需继续获取,循环使用思路逻辑即可
1、理解的爬虫:用程序模仿人点击浏览器并访问网站
2、爬虫的目的:获取大量的数据,做数据分析
3、python爬虫的优势::请求模块、解析模块丰富成熟,强大的Scrapy网络爬虫框架
4、爬虫的分类:通用网络爬虫(如搜索引擎)和聚焦网络爬虫(自编程序)
5、爬取数据的思路:确定需要爬取的地址-->请求模块向该地址发出请求,并获取响应--->从响应内容提取相关数据
---->保存数据--->如需继续获取,循环使用思路逻辑即可