Python爬虫为何会乱码？

http代理让网络爬虫变得顺利，大幅度降低了入门槛，这样也是很多人开始学习爬虫程序的因素之一。今天万变http代理跟大家分享常见的问题，就是爬虫为什么会发生乱码。

网络爬虫总共有两种，一是选择nutch、hetriex，二是自写网络爬虫，二者在解决乱码时，基本原理是相同的，但前面解决乱码时，需要看懂源码后进行改动。而后者更随意省事，能够在编码时进行解决。这也是许多人在用框架写网络爬虫会发生各种各样的乱码时，不知道从哪里下手的缘故了。

1、网络爬虫发生乱码的缘故 源网页页面编码和爬取下来后的编码转换不一致。如源网页页面为gbk编码的字节流，而大家爬取下后程序直接使用utf-8进行编码并输出到存储文件中,这必然会引起乱码，特别注意区分源网编码A、程序直接使用的编码B、统一转换字符的编码C

A、是webpage的服务器端编码

B、爬取到的数据，原始状况为字节数组，它是由A来编码的，只有B=A时，才能够 保证不发生乱码，否则当字符集不兼容时，总是会发生乱码,此步骤往往用于测试。

C、统一转码是指得到网页页面的原始编码A后，再进行的统一编码，主要是为了将各个网页页面的数据统一成一类编码，往往选择字符集较大的utf-8为宜。

每个网页页面都会有自己的编码，像gbk、utf-8、iso8859-1，以及日文的jp系统编码、西欧、俄文等编码各不相同，当进行漫爬时总是会扩展出各种编码，有的网络爬虫是对web网页页面进行简单的编码识别再进行统一编码，有的是不做源网页页面的判断直接统一按utf-8来解决，这显然是会造成乱码状况