1.去除汉字
[\x{4e00}-\x{9fa5}]+
2.去除%乱码
[%][a-z0-9]{2}
3.去除特殊符号
[`~!@#$^&*()=|{}\':;\',\\\\[\\\\].<>\/?~!@#¥……&*()——|{}【】‘;:”“\'。,、?]
4.去除俄语
[\x{0400}-\x{04FF}]|[\x{0500}-\x{052F}]|[\x{2DE0}-\x{2DFF}]|[\x{A640}-\x{A69F}]|[\x{1C80}-\x{1C8F}]
5.去除重复行
^(.*?)$\s+?^(?=.*^\1$)