爬虫时遇到的问题

1.【windows系统】在写入txt文件的过程中，突然在中途蹦出来：UnicodeEncodeError: 'gbk' codec can't encode character '\u200b' in position 4: illegal multibyte sequence，即：gbk不能对……进行编码……，如下：

with open(r"D:\作业\python\夜曲.py\爬取B站弹幕项目.py\岗位信息.txt",mode="a",encoding="gbk") as f:
    f.write(job+","+companyName+","+position+","+salary+"\n")



>>>UnicodeEncodeError: 'gbk' codec can't encode character '\u200b' in position 4: illegal multibyte sequence

解决方法：将“gbk”换成它的超集“gb18030”，如下

#####……………………####
    with open(r"D:\作业\python\夜曲.py\爬取B站弹幕项目.py\岗位信息.txt",mode="a",encoding="gb18030") as f:
        f.write(job+","+companyName+","+position+","+salary+"\n")
###…………………………####
print("txt disposing sucess!")


>>>txt disposing sucess!

总结：gbk是文本文档的默认编码方式，而gbk又是gb18030的子集，故 多用gb18030替换gbk

2.字体反爬虫，先上图（某某僧，薪资）：

 

 看吧，主家把这几个数给藏起来了，咋治呢……

大致思路就是：

在主家摩斯密码的基础上先encode()编码

对比编码结果和实际数值，找出对应关系【别得意，主家的密码对应关系可能不定时更新哦】

之后利用replace()函数将编码结果和数值进行替换【算是人工解码吧……】

最后再次利用decode()解码【解码剩下的、细枝末节的东西】

即

####…………………………####
    salary=soup.find(class_="job_money cutom_font").string.strip()
    salary=soup.find(class_="job_money cutom_font").string.encode()
    salary=salary.replace(b'\xef\x89\x81',b"0")
    salary=salary.replace(b'\xee\x80\x84',b"1")
    salary=salary.replace(b'\xef\x9a\x92',b"2")
    salary=salary.replace(b'\xee\xb0\xbd',b"3")
    salary=salary.replace(b'\xee\x86\xb6',b"4")
    salary=salary.replace(b'\xee\x84\xa5',b"5")
    salary=salary.replace(b'\xef\x9a\xa7',b"8")
    salary=salary.decode()
####…………………………#####