Non-UTF-8 code starting with ‘\xd8‘

text = "پۇلنى ئالداپ ئېلىۋېلىش ئۈچۈن ، تەيجۇ ۋۇجوۋ كۆپىيىش دوختۇرخانىسى ئالدامچىلىق قىلغان قارا نىيەتلىك ئازگالنى كۆپ قېتىم ئاشكارىلاپ قويۇش كېرەك ، كېيىن 10 مىليون يۈەندىن ئارتۇق كېسەل كۆرسىتىپ ، ئالدامچى شىركىتى شېنياڭ فۇبېي پەن - تېخنىكا چەكلىك شىركىتىنىڭ قانداق ئالدامچىلىق قىلغانلىقىنى ئاشكارىلاپ ، خەندەن جاۋجاۋ يەنجوڭ دوختۇرخانىسى ئالدامچى دوختۇرخانىسى خەندەن يەنجاۋ جۇڭگو دوختۇرخانىسى قارا نىيەتلىك ئالدامچى دوختۇرخانىسى بولۇپ ، كاڭ باۋلەي بىۋاستە سېتىش ، شاخلىتىپ سېتىشقا چېتىشلىق 5 مىليون 730 مىڭ يۈەن پۇلنى خېنەندىكى ئەڭ چوڭ قانۇنغا خىلاپ بىۋاستە سېتىش دېلوسىغا چېتىشلىق بولۇپ ، شۇ چاغدا شاخلىتىپ سېتىش ، ساختا تەشۋىق قىلىشقا چېتىلىپ قالغان ، ياڭ شياۋجيې : بۇ ئىشنى قىلىپ بولغاندىن كېيىن ھېچقانداق ئۈنۈمى بولمىدى ، ياڭ شياۋجيې نىمە ئۈچۈن ئەينى چاغدا كۆكرەك كېيىنىكى ھۆسۈن تۈزەش كارتىسى بېجىرگەن ، مۇخبىر ياڭ شياۋجيېنىڭ ئەينى چاغدا كارتا بېجىرگەن ھۆسن تۈزەش مۇلازىمىتى خادىمى مېڭ شياۋپىڭ بىلەن ئالاقىلاشقان ، كېيىنكى كۈنى 4 - 5 ئاي داۋاملاشتۇردى ، مۇخبىر : ھۆسن تۈزەش ئۇستىسىنىڭ سالاھىيەت گۇۋاھنامىسى ، ياڭ شياۋجيې : سالاھىيەت گۇۋاھنامىسى يوق ،ئالدامچىلىقۋۇجوۋ كۆپىيىش دوختۇرخانىسى"
text = str(text)
print(len(text))

text1 = ""

split_pad = r''
sub_contexts, starts = split_text(text=text, max_len=512,
                                          greedy=False, split_pat=split_pad)

在代码段开头,加上一行:

# coding=utf-8

即可

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值