【NLP】
文章平均质量分 58
记录nlp的一些用法
月疯
得到你最想要的东西,最保险的办法,那就是你能配得上你最想要的东西。机会是留给有准备的人,运气是留给有天赋的努力者。
展开
-
Word2VEC demo
将三国演义一本书作为训练样本进行训练的结果。原创 2024-03-27 11:45:41 · 157 阅读 · 0 评论 -
电影推荐排名搜索算法
主要是测试过程中faiss.py文件导致问题,删除掉就好了。出现一个bug记录一下。原创 2024-03-26 19:40:06 · 233 阅读 · 0 评论 -
RNN预测正弦时间点
【代码】RNN预测正弦时间点。原创 2024-03-09 18:35:14 · 289 阅读 · 0 评论 -
TransformerEncoder影评测试
【代码】TransformerEncoder影评测试。原创 2024-02-25 20:31:50 · 203 阅读 · 0 评论 -
zh-dataset-inews数据集分类测试
【代码】zh-dataset-inews数据集分类测试。原创 2024-02-25 20:27:35 · 148 阅读 · 0 评论 -
Keras简单情感建模分析
【代码】Keras简单情感建模分析。原创 2024-02-25 20:20:33 · 179 阅读 · 0 评论 -
ChatGLM2-6B模型的win10测试笔记
ChatGLM2-6B 是开源中英双语对话模型ChatGLM-6B的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,ChatGLM2更强大的性能:基于 ChatGLM 初代模型的开发经验,我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了GLM的混合目标函数,经过了 1.4T 中英标识符的预训练与人类偏好对齐训练,评测结果。原创 2024-02-09 04:10:48 · 1265 阅读 · 0 评论 -
transformers之agent
简单来说它在转换器之上提供了一个自然语言 API:定义了一组精选工具并设计了一个代理来解释自然语言并使用这些工具。可以想象 HuggingFace 的工程师会是这样的:在 HuggingFace 上托管了很多令人惊叹的模型,可以将它们与 LLM 整合吗?可以使用 LLM 来决定使用哪个模型、编写代码、运行代码并生成结果吗?从本质上讲,没有人需要再学习所有复杂的特定任务模型。只要给它一个任务,LLMs(代理人)就会为其包办一切。原创 2024-02-06 12:57:53 · 865 阅读 · 0 评论 -
transformers重要组件(模型与分词器)
除了像之前使用AutoModel根据 checkpoint 自动加载模型以外,我们也可以直接使用模型对应的Model类,例如 BERT 对应的就是BertModel注意,AutoModel这样如果我们想要使用另一个模型(比如把 BERT 换成 RoBERTa),只需修改 checkpoint,其他代码可以保持不变。原创 2024-02-05 19:12:54 · 1187 阅读 · 0 评论 -
Pipeline是如何运行
pipeline 的两个重要组件Models类)和Tokenizers类)的参数以及使用方式。以第一个情感分析 pipeline 为例,我们运行下面的代码。原创 2024-02-05 15:41:57 · 896 阅读 · 0 评论 -
Transformers 基础函数pipeline()
""""""可以看到,pipeline 自动选择了预训练好的模型来完成任务。与文本生成类似,我们也可以通过max_length或min_length参数来控制返回摘要的长度。原创 2024-02-05 10:49:54 · 1613 阅读 · 0 评论