python爬虫学习1_爬虫介绍和抓包工具

python爬虫学习1_爬虫介绍和抓包工具

通用爬虫：

通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。从而提供关键字检索。

搜索引擎爬虫基本流程：

通用爬虫协议：

Robots协议（也叫爬虫协议、机器人协议等），全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，例如：

淘宝网：https://www.taobao.com/robots.txt

腾讯网： http://www.qq.com/robots.txt

网站列举了准许权限和目录。

 

mac上好用的抓包工具

Charles

遇到连接不上解决方案：http://www.voidcn.com/article/p-emrjgyus-bqu.html

连接的基本原理： 在pc上，访问网络，我们通过charles的代理进行访问。所以mac上的网络设置里面需要设置到charles的端口上（一般是8888）。

截获手机端访问的包也类似：将手机和pc放到一个网络环境下，然后设置手机的访问代理就ok了。

 

在网上找到的可用账号：

// Charles 4.2目前是最新版，可用。

Registered Name: https://zhile.io

License Key: 48891cf209c6d32bf4

本方法通杀charlse系列激活问题。