wujiaoxing250的博客

原创 分享python爬虫的知识：基本概述

1、理解的爬虫：用程序模仿人点击浏览器并访问网站 2、爬虫的目的：获取大量的数据，做数据分析 3、python爬虫的优势：：请求模块、解析模块丰富成熟,强大的Scrapy网络爬虫框架 4、爬虫的分类：通用网络爬虫(如搜索引擎)和聚焦网络爬虫（自编程序） 5、爬取数据的思路：确定需要爬取的地址-->请求模块向该地址发出请求，并获取响应--->从响应内容提取相关数据 ---->保存数据--->如需继续获取，循环使用思路逻辑即可 ...