2024年调研学习文档资料汇总

3月学习文档

1、chatGLM实践：https://zhuanlan.zhihu.com/p/622686205?utm_id=0
chatGLM模型结构与核心代码解读：
https://blog.csdn.net/weixin_42878111/article/details/134017313
2、图文分类：https://huggingface.co/docs/transformers/model_doc/chinese_clip
（图像相似检测、零样本分类、图文特征抽取见git代码）
ChineseClip代码，预训练、图文特征抽取、零样本图像分类（支持文到图、图到文检索的top-k召回结果，详见readme）：
https://github.com/OFA-Sys/Chinese-CLIP/tree/master?tab=readme-ov-file#API%E5%BF%AB%E9%80%9F%E4%B8%8A%E6%89%8B

3、多卡训练：https://blog.csdn.net/qq_51392112/article/details/129737803
4、图像质量打分模型（图像质量打分模型，训练语料只质量由高到低写到train.txt中）：
https://github.com/zheng-yuwei/RankIQA.PyTorch/?tab=readme-ov-file
5、图文相似匹配：https://huggingface.co/OFA-Sys/chinese-clip-rn50
6、句子文本向量表示：https://huggingface.co/shibing624/text2vec-base-chinese
bert4vec：一个基于预训练的句向量生成工具：
https://github.com/zejunwang1/bert4vec/tree/main?tab=readme-ov-file

7、中文文本摘要：
https://huggingface.co/IDEA-CCNL/Randeng-Pegasus-523M-Summary-Chinese
rouge安装：pip install rouge

8、bert系列人物集成（分类+阅读理解）：
https://github.com/CLUEbenchmark/CLUE/tree/master
9、fasttext模型训练代码：（意图打标服务用的这个脚本）
https://github.com/649453932/Chinese-Text-Classification-Pytorch
fasttext模型训练脚本：（游戏信息分类服务在用）
https://github.com/Tencent/NeuralNLP-NeuralClassifier?tab=readme-ov-file

10、bert和lert模型区别：https://zhuanlan.zhihu.com/p/664200148?utm_id=0
11、大模型图生文，模型太大，每个模型需要28G，下载耗时严重；运行需要28G及以上的显存资源，并且只能在V100及以上的机器上才能运行：
https://huggingface.co/THUDM/CogVLM/tree/main
12、ChatGLM3-6B中文纠错LoRA模型:
https://huggingface.co/shibing624/chatglm3-6b-csc-chinese-lora
13、中文拼写纠错和中文语法纠错：
https://github.com/shibing624/pycorrector/tree/master

调研评价：字粒度纠错还凑合，词粒度纠错效果差，在难样本面前就是个傻子，Macbert整体文本纠错base效果要强于其他模型

MacBert4csc模型介绍：
https://github.com/shibing624/pycorrector/blob/master/examples/macbert/README.md

14、最新的中文大模型chatGLM3：https://huggingface.co/THUDM/chatglm3-6b
15、天池数据集，需要登陆下载：https://tianchi.aliyun.com/dataset/138195
16、头条，中文文本分类数据集：https://huggingface.co/datasets/fourteenBDr/toutiao
17、数据可视化：https://www.gradio.app/guides/quickstart
gradio官方文档：https://www.gradio.app/docs/image
18、腾讯预训练平台：https://github.com/Tencent/TencentPretrain/tree/main
19、llama中文预训练模型：https://github.com/LlamaFamily/Llama-Chinese?tab=readme-ov-file#-%E6%A8%A1%E5%9E%8B%E9%A2%84%E8%AE%AD%E7%BB%83

4月学习记录
1、Llama3中文大模型（已经应用到蓝厂浏览器AI摘要项目）
Llama3中文大模型，支持v100，32G显存机器运行：https://github.com/LlamaFamily/Llama-Chinese
2、vivo蓝心大模型
模型下载地址：https://huggingface.co/vivo-ai/BlueLM-7B-Chat-32K/tree/main
Git仓库地址：https://github.com/vivo-ai-lab/BlueLM