可用需求1:可用于大模型优化的技术
最强长上下文Text Embedding 开源模型M2-BERT-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
疑问:和Text2vec或sentence2vec的区别,谁更好?
智谱AI GLM4和InternLM2国产大语言模型更新迭代 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
Glm4可调研
国产首个开源MoE大模型DeepSeekMoE 16B #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
模型号称数学和代码能力碾压LLama2?
Unsloth微调LLM训练更快2~5倍 GPU显存省50% #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
若可行,可提高Gpu使用率,可后续调研
训练大语言模型LLM 如何定义自己训练数据集?#小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
不知道是否能否有效提高LLM效果,可以后续按此实现下
如何将GPU切片运行多个实体?Multi-Instance GPU #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
可验证是否可用于NSTL但A100GPU单卡部署多个实体
合并同源模型权重获得新能力,阿里开源DARE算法 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
可验证是否能够用于NSTL多场景合并效果。
中文大语言模型如何评估? C-Eval演示使用 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
也采用此种方式评估大模型好坏,不过具体场景还需要结合具体场景数据验证
如何评估量化后大语言模型?对比14B量化和7B模型哪个好?#小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
采用人工问答的方式评估大模型的基础能力,于此量化不太相同,可参考验证下
Docker容器中运行大语言模型 推理加速,使用更简便-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
当前推理仅需部署好环境就行,因此需要对比看下两者那种更好。
微调大语言模型如何自动生成 训练数据以及优化技巧-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
可具体学习下是否可用
如何让清华ChatGLM2-6b模型推理性能提升20倍? #小工蚁 #chatglm2-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
再用glm-6b,具体需要我实验实验
M3E中文文本嵌入模型:替代OpenAI text-embedding-ada-002的最佳选择-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
TGI让Huggingface Transformer推理速度提升10倍,本地演示 #小工蚁 #huggingface-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
可用需求2:可用于公司降本增效的方法
如何让智能体团队协作开源框架CrewAI #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
CrewAI实现角色定制互相协作?
GPU服务器如何选购?#小工蚁 #dell-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
可用于GPU服务器选购参考
Tesseract开源文字识别OCR引擎 支持100多种语言-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
OCR引擎,是否能用可后续参考
Flowise低代码构建本地知识库智能问答应用 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
可后续验证这种代码是够更简洁
AutoLabel:自动标注,比人快100倍,准确度和人一样!#小工蚁 #大语言模型-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
当前有些业务用得到自动标注,这个具体是否可用,还是需要实际运行测试
小工蚁开源大模型解决方案 快速部署,轻松满足定制需求-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
里面的思路后续写解决方案还是可以参考用下,省些时间