使用大语言模型(LLM)修正小段乱码(Mojibake)为正常文本
在上一篇文章ftfy:修正小段乱码(Mojibake)为正常文本的Python库中,我介绍了这个库。但随着持续的开发,我发现它仍然有一些解决不了的转换。如下:可以看到后面的结果并没有转换成功,而且 也返回 ,非常爽快地承认了这一点。而当使用 chatGPT 来解决时,简单的提示语足以解决问题:输出:这就很妥贴。接下来只要优化一下提示词,让 LLM 返回 JSON 对象,就可以很方便地进行下一步处理了。
原创
2024-09-16 01:21:17 ·
411 阅读 ·
0 评论