在爬取lc提交代码的时候遇到的一个问题,在爬取到的源码中,符号是采用unicode-escape
编码的,而其中的中文是采用utf-8
编码的,正常解码无论怎样都会出现乱码,本文记录下解决办法。
示例
下面是lc第一题爬取的源码,编码为"utf-8",中文可以正确显示,但是换行符等符号并不能正确显示,因此需要转换。
code = "class Solution:\u000A def twoSum(self, nums: List[int], target: int) \u002D\u003E List[int]:\u000A dic \u003D defaultdict(int) # 哈希字典\u000A for i,num in enumerate(nums):\u000A if num in dic: return [dic[num],i]\u000A dic[target\u002Dnum]\u003Di"
正常我们的解码是这样的:
code = code.encode("utf-8").decode("unicode-escape")
这样上面的换行符等就可以正确显示为\n
等正确的编码,但是原本上面的中文就是utf-8
了,解码为unicode-escape