Python爬虫UserAgent的作用

1、为什么要使用User Agent？

因为一些网站不喜欢外界的爬虫消耗自己的服务器的大量资源，因此他自身就写了一个反爬虫程序，不使用代理的话，他们就能识别出你是爬虫，从而给你进行重定向无数次，导致你的爬虫报错，因此代理出现了，代理是我们的爬虫程序模拟浏览器或者手机端等访问，达到掩盖爬虫的技术，由此看来，人民的智慧还是很重要的。

2、一些常用的代理有哪些？

1.Android

Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19
Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30
Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1
2.Firefox

Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0
Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0
3.Google Chrome

Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chr