python爬取页面编码格式gb2312中文乱码问题

python爬取页面编码格式gb2312中文乱码问题

python小白刚刚学习爬虫，记录一下失败到成功历程~

项目场景：

爬取某事业单位招聘的数据

问题1：

通常遇到乱码问题就是爬取一遍，哪里出现乱码修改哪里。比如乱码出现在标题，那么修改标题部分的代码；
如下：

    url = 'http://www.shiyebian.net/fujian/sanming/'
    page_text = requests.get(url=url,headers=headers).text
    tree = etree.HTML(page_text)

这样输出的结果，标题出现乱码，于是进行对标题部分的内容进行修改。

url = 'http://www.shiyebian.net/fujian/sanming/'
page = requests.get(url=url,headers=headers)
page.encoding = 'gbk'
page_text = page.text
tree = etree.HTML(page_text)

成功显示

问题2：

由于爬取的部分是需要再响应一页面，所以需要爬取其中的文字。百度了好久，各种方案都尝试了还是失败了。
直到意识到波波老师曾经说过，哪里乱码改哪里。

解决办法：

（1）对页面右键—检查页面源码—查看charset：gb2312
（2）将响应网页编码为gb2312

 		li_response = requests.get(url=li_url,headers=headers)
        li_response.encoding = 'gb2312'#页面源码代码
        li_response_text = li_response.text
        li_tree = etree.HTML(li_response_text)

（3）将输出的文件编码转为utf-8

        with open(page_path,'w',encoding='utf-8') as fp:
            fp.write(page_data)
            fp.close()
            print(li_name,li_url,'保存成功')