python爬虫概念及介绍

1. 什么是互联网爬虫？

解释 1 ：通过一个程序，根据 Url ( http : // www . taobao . com ) 进行爬取网页，获取有用信息

解释 2：使用程序模拟浏览器，去向服务器发送请求，获取响应信息

2. 爬虫核心 ?

1. 爬取网页：爬取整个网页 包含了网页中所有得内容

2. 解析数据：将网页中你得到的数据 进行解析

3. 难点：爬虫和反爬虫之间的博弈

3. 爬虫的用途？

数据分析 / 人工数据集

社交软件冷启动

舆情监控

竞争对手监控

4. 爬虫分类？

5. 反爬手段？