m0_50855268的博客

原创 爬虫笔记1

一、爬虫 1、概念 2、爬虫的内容 （1）爬到的数据可能是： 表格 文本 图片+文本（二手车信息、京东网商品信息） （2）哪些不可以被爬 3）搜索引擎（baidu、google、bing） 百度是一个爬虫 百度爬不到新浪微博内部的新闻，也爬不到淘宝网的产品信息（涉及服务器的通行证问题） 3、服务器的通行证Robots.txt 服务器通过Robots.txt来限定爬虫可以爬哪些内容 淘宝网的爬虫通行证：禁止百度爬去产品信息，但是却允许google和bing 4、爬.