不是什么都可以爬取的,要有法律意识 网站如果有不想被别人爬取的内容,就会在站点根目录下写一个robots,txt文件,而爬取者就要先看这个文件, 再决定下一步该怎么走: 下面是京东的robots.txt内容