从学习爬虫开始,到学习爬虫的代码,再到自己写爬虫程序,遇到了各式各样的问题,每每都需要百度去搜索一个合适的解决方案,耗时耗力。所以把一些我遇到的问题和合适的解决方案记录下来。
1.爬取网页时,网页中文乱码
乱码出现原因:
源网页编码和爬取下来后的编码转换不一致。如源网页为gbk编码的字节流,而我们抓取下后程序直接使用utf-8进行编码并输出到存储文件中,这必然会引起乱码,即当源网页编码和抓取下来后程序直接使用处理编码一致时,则不会出现乱码,此时再进行统一的字符编码也就不会出现乱码了。注意区分源网编码A、程序直接使用的编码B、统一转换字符的编码C。
A、就是web page的服务器端编码
B、抓取到的数据,原始情况为字节数组,它是由A来编码的,只有B=A时,才可以保证不出现乱码,否则当字符集不兼容时,总是会出现乱码,此步骤往往用于测试。
C、统一转码是指得到网页的原始编码A后,再进行的统一编码,主要是为了将各个网页的数据统一成一类编码,往往选择字符集较大的utf-8为宜。
每个网页都有自己的编码,像gbk、utf-8、iso8859-1,以及日文的jp系统编码、西欧、俄文等编码各不相同,当进行漫爬时总是会扩展出各种编码,有的爬虫是对web网页进行简单的编码识别再进行统一编码,有的是不做源网页的判断直接统一按utf-8来处理,这显然是会造成乱码情况。
一般网页的请求头headers中Content-Encoding默认为gzip,而requests获取的编码不是GBK,而是ISO-8859-1,不是爬虫程序所用的'utf-8&#