爬虫学习笔记

以下总结参考公众号：狗熊会

一、爬虫

1、概念

2、爬虫的内容

（1）爬到的数据可能是：

• 表格
• 文本
• 图片+文本（二手车信息、京东网商品信息）

（2）哪些不可以被爬：

（3）eg:搜索引擎（baidu、google、bing）

• 百度是一个爬虫
• 百度爬不到新浪微博内部的新闻，也爬不到淘宝网的产品信息（涉及服务器的通行证问题）
  

3、服务器的通行证Robots.txt

服务器通过Robots.txt来限定爬虫可以爬哪些内容
淘宝网的爬虫通行证：禁止百度爬去产品信息，但是却允许google和bing