1.uie模型使用cpu微调,怎么开启多线程,目前cpu利用率为100%
CPU下微调推荐使用小尺寸的模型,可以尝试下通过下面的方式执行微调
python -m paddle.distributed.launch --nproc_per_node=3 --backend=gloo ./finetune.py .
1.1 UIE Slim 数据蒸馏下的SimpleServing 的服务化部署bug,无法预测结果,全为空。
https://github.com/PaddlePaddle/PaddleNLP/issues/6047
待解决
使用TextTiling算法,对没有分段的文本自动分段,或者基于已有段落进一步组织/重新分段。
ht0 = HarvestText()
text = """备受社会关注的湖南常德滴滴司机遇害案,将于1月3日9时许,在汉寿县人民法院开庭审理。此前,犯罪嫌疑人、19岁大学生杨某淇被鉴定为作案时患有抑郁症,为“有限定刑事责任