hj_caas
目前研究生在读,主要研究方向是自然语言处理领域,研究知识图谱、方面级情感分析等。目前熟悉python爬虫、机器学习、深度学习、NLP等相关技术,由于本人比较懒散,不会定期更新,后期会慢慢充实相关专题。
展开
-
AI RAG应用的多种文档分块代码
现有文档分块方法并不完美,还是基于分隔符,token限制,token重叠数等等。即使如此,在不同的应用场景和数据集下,应选择合适的文档分块方法,尽可能的提升RAG应用的效果。探索如何从语义层面进行文本分块还是一个很有潜力的研究方向。原创 2024-01-12 09:03:48 · 161 阅读 · 0 评论 -
Openai的openai新版本调用方式
最近大家有没有发现Openai的openai已经更新到1.6.1了,而且API的调用方式发生了巨大的变化,下面来看看openai新的调用方式吧。原创 2023-12-24 22:35:31 · 1244 阅读 · 0 评论 -
在线试用国内外大模型资源梳理
在生活中大模型会被经常使用,而部署本地大模型需要许多的GPU资源,如何白嫖免费的大模型呢?现调查总结了一些能够免费在线试用的国内外大模型以及相关的平台。原创 2023-12-20 23:18:48 · 1992 阅读 · 0 评论 -
Google Gemini 模型本地可视化
Google近期发布了Gemini模型,而且开放了Gemini Pro API,Gemini Pro 可免费使用!Gemini Pro支持全球180个国家的38种语言,目前接受文本、图片作为输入并生成文本作为输出。Gemini Pro的表现超越了其他同类模型,当前版本配备了 32K 文本上下文窗口,可免费使用,且其定价将十分有竞争力。Gemini Pro具备丰富的功能:函数调用、数据嵌入、语义检索、自定义知识嵌入以及聊天功能。原创 2023-12-17 22:56:32 · 786 阅读 · 0 评论 -
文本处理工具doctran(集成LLM和NLP库)
doctran使用简单,可以用于日常工作中的数据处理。原创 2023-12-14 21:22:39 · 844 阅读 · 0 评论 -
LLaMA模型之中文词表的蜕变
在目前的开源模型中,LLaMA模型无疑是一颗闪亮的⭐️,但是相对于ChatGLM、BaiChuan等国产大模型,其对于中文的支持能力不是很理想。原版LLaMA模型的词表大小是32K,中文所占token是几百个左右,这将会导致中文的编解码效率低。在将LLaMA系列模型用于中文语言时需要进行中文词表扩充,基于sentencepiece工具训练,产生新的词表,然后与原始词表合并得到一个新词表。本文将LLaMA模型中文词表扩充分为以下步骤:训练数据准备、词表训练、词表合并、词表测试。原创 2023-11-13 20:51:30 · 1168 阅读 · 0 评论 -
手把手教你:LLama2原始权重转HF模型
LLama2是meta最新开源的语言大模型,训练数据集2万亿token,上下文长度由llama的2048扩展到4096,可以理解和生成更长的文本,包括7B、13B和70B三个模型,在各种基准集的测试上表现突出,该模型可用于研究和商业用途。LLama2模型权重和tokenizer下载需要申请访问。申请链接:https://ai.meta.com/resources/models-and-libraries/llama-downloads/原创 2023-11-09 22:11:27 · 1883 阅读 · 0 评论