刀光剑影！中文AI创作顶级高手过招；现在的AI数据分析工具还不太行；LLM音频处理开发全记录；2023大模型落地应用案例集；LLM项目实操课

本文链接：https://blog.csdn.net/weixin_42907150/article/details/136859178

文章涵盖了AI创作大赛的详情，大模型如LLM的实战与应用，以及中国信息通信研究院的大模型落地案例。同时讨论了数据分析工具的性能对比和大模型在企业产品中的整合策略。

摘要由CSDN通过智能技术生成

👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！

🉑 第二届「AI创作大赛」获奖作品：中文AI创作的顶级高手过招

比赛介绍 docs.qq.com/aio/DWmlUUn…

GenWorld 联合 HuggingFace、Minimax、真格基金等海外内外知名 AI 组织，举办了第二届AI小说创作比赛——「假如…? AI 故事大赛」。

比赛时间 2023年11月15日-12月20日，要求提交作品字数不超过 5,000 字，故事文字和多模态内容必须由AI生成，且不限制 AI 工具范畴和使用方式 ⋙ 比赛详细介绍

**交互记录与多模态作品 ** pan.baidu.com/share/init?…

本届大赛共有上千位参赛者报名，最终7篇作品突破重围获奖。根据官方信息，本次模态作品占 15%，更多选手使用了 Kimi Chat、文心一言等国产大模型，创作深度和多元化丰富度也再次刷新认知。可以 ⋙ 点击这里阅读文字版作品，或者访问 👆 上方链接下载体验多模态作品，并获取完整交互记录。

👀 向量数据库哪家强？我做了一张全维度的详细对比图

twitter.com/GobeUncleWa…

X@GobeUncleWang 汇总了市面上最常被提及的向量数据库，整理了他们的性能特点，并按照基础、功能、可靠性、安全性、性能这5个方向、近40个维度列写了具体信息。

Pinecone：💩 简单，托管，先发；专有，供应商锁定，不透明，价格高昂
Weaviate：⭐⭐ 良好的文档
Qdrant：⭐⭐ RUST 性能更好？API 过于朴素，RUST 版的 Pinecone
Chroma：💩 HNSWLIB over ClickHouse；连自己存储层都没有，做啥数据库
LanceDB：⭐ 为多模态数据的分布式索引而设计；驱动单一
Milvus：⭐⭐⭐⭐ 算法众多，索引距离函数较丰富
Vespa：⭐ 可以与 BM25 关键词检索混合使用；Java 企业级，对开发者不友好
Vald：⭐ NGT 算法；日本供应商；流行度低
Pgvector：⭐⭐⭐⭐⭐ 复用Postgres基础设施，丰富的检索工具生态，最大支持维度受限
Redis Stack：⭐⭐ 复用Redis；受限于单机内存，超大数据量性能劣势
ElasticSearch：⭐⭐⭐ 复用ElasticSearch，与现有全文检索能力协同

🉑 我试遍了「排行榜Top 10」数据分析AI工具，只有一两个还行……

hdrobots.com/i-tried-the…

作者基于一份「2023年网球比赛数据集」，使用最受欢迎的10款数据分析AI工具，进行了统一的数据分析，目的是找到获胜次数最多的10名球员 & 胜率最高的10名球员。

🔔 数据工具与测试结果

Data Analysis GPT 由OpenAI开发，无需设置，快速完成任务，推荐使用，但需要 ChatGPT 订阅
PowerBI 企业级商业智能工具，需要工作账户，未能测试
Julius 易用，准确回答了两个问题，提供15个免费查询，之后每月17.99美元起
MonkeyLearn 专注于客户反馈分析，无免费层，需要账户才能测试
Kanaries 自动化数据探索，生成图表和仪表板，但创建无关图表，界面难以使用
DataRobot 为数据科学家和AI研究人员定制AI模型，未能成功预测下一年的网球冠军
Akkio 易用的数据分析工具，有数据预测功能，但未能计算胜率
Polymer 商业智能工具，有聊天机器人，但不支持创建图表，需要手动分析数据
InfraNodus 专注于文本数据分析，提供14天免费试用，之后每月9欧元
Rose AI 用户界面混乱，缺乏帮助，无法上传横向排列的时间序列数据文件

🔔 结论

只有 Data Analysis GPT 和 Julius 成功完成了两个任务，Akkio 和 Polymer 只完成了第一个任务，没能分析出胜率

🉑 大模型年终复盘，现在是个体户的好时代 & 大模型产品应该怎么做

www.xiaoyuzhoufm.com/episode/658…

有赞，成立于2012年，是和微信一起成长起来的为商家服务的 ToB 平台，2023 年将 AI 融入到已有产品工作流之中，是用 AI 对已有业务进行改造的典型应用代表

Monica，成立于 2023 年,是伴随着 ChatGPT 和 LLM 而起来的全新 AI 应用的代表，是 2023 年成功活下来的「GPT 套壳」产品的代表

这是潘乱组织的一次圆桌讨论，邀请了有赞创始人兼 CEO 白鸦、Monica 的创始人肖弘、极客公园创始人&总裁张鹏，从不同的角度对谈 2023 这个大模型狂奔的年度。

这场对谈的核心话题是「大模型时代的产品该怎么做」，几位很有阅历的嘉宾，真诚分享了自己这一年的起起伏伏。妙语连珠，非常有趣~

00:10 2023年年底，对 GenAI/大模型热潮的观察和体感
05:40 白鸦的有赞11岁了，肖弘的Monica才1岁，两位今年是怎么过的？做了哪些事？
13:10 体量和云计算两个判断，有赞从一开始就确定不会去做大模型
19:00 Monica最初的状态很像独立开发者，看用户的需求跳进去感受
22:01 Monica默认美元计价，今天AI应用Day 1商业化的前提是出海么？
25:00 白鸦分享：有赞的产品是怎么跟大模型做结合的？从产品角度出发，有赞是如何用AI来重构产品的？
36:15 肖弘分享：为什么决定做 Monica 这样一款产品，这种套壳集成多个AI bot的产品竞争力在哪里？
41:43 在对LLM未来知之甚少的情况下 (能力上限、未来演进速度等) ，怎么保证现在做应用的投入，长期看不是无用功？
46:48 今天这种ToC的AI整合产品，会不会像是PC时代的JiaThis或一淘网，只是过渡产品？
53:03 大模型时代做有壁垒的APP，一定要有自己的模型吗？ToB或ToC，会有不同吗？
63:37 对AI应用来说，长期最珍贵的资产是什么？什么样的应用不会被大模型覆盖？
70:28 大厂虽然数据很多，但很多也不能拿来给模型用，怎么能通过产品设计让用户产生模型更能用的数据？
77:28 ToB的AI产品，和ToC的AI产品，在设计思路和交互形式上有什么区别吗？
88:29 除了自己做的以外，今年还有哪些 AI 产品给你留下了深刻印象？
96:39 从年初开始，行业里一直在谈「AI Native」，一年下来两位怎么理解这个概念？
99:31 从企微的微伴助手到Monica插件，每次都能找到用户痛点场景，有什么相近的思考框架？
104:09 大模型时代对产品经理似乎提出了新的要求，做了一年 AI 产品之后，你们是如何思考这个问题的？大模型时代的产品，核心竞争力是什么？
109:34 「今天其实没多少创业的机会了，但是还是有很多做生意的机会！」
112:14 「只有用户给你的钱是不用还的，其他所有人给的，都需要以某种方式N倍还回去的！」
114:17 「科技领域的吟游诗人是一个很棒的选择！」 ⋙ 这里是对谈的文字版本

👀 LLM音频处理实战：从零开始的微调之旅 (系列文章)

paul.mou.dev/posts/2023-…

这是关于使用大语言模型 (LLM) 进行音频处理的系列实战文章。作者计划构建并托管一个大语言模型，可以描述 Google MusicCaps 数据集中给定的音频文件。

作者在这个系列文章中，将详细记录自己的操作步骤、实践代码和相关资料。本文是系列第一篇，感兴趣可以 👆 Follow 更新并跟随作者一起实践学习~

🔔 准备工作

尝试从头使用 PyTorch 重建工具和功能，而不是依赖第三方库
选择 HuggingFace 上的 Mistral OpenOrca 作为基础 LLM
选择 OpenAI 的 Whisper 作为音频编码器
选择 MusicCaps 数据集，并编写脚本下载 YouTube 视频

🔔 实现细节

采样从零开始 (Sampling from Scratch)

在这个阶段，作者首先确保能够正确加载基础的大型语言模型 (LLM) 并进行推理
具体来说，为了验证自己的理解和学习如何直接使用嵌入进行采样，作者没有使用 Transformers 库的生成工具，而是自己实现了一个采样函数；这个函数通过迭代地将采样结果拼接到输入ID中，实现了基于嵌入的文本生成

适应Whisper到Mistral (Adapting Whisper to Mistral)

将 OpenAI 的 Whisper 模型适配到Mistral OpenOrca LLM，以便将音频文件转换为可以输入到Mistral的嵌入
具体来说，提取了 Whisper 模型的音频编码器部分，并添加了一个额外的投影层，以将 Whisper 的音频嵌入 (大小为1280) 映射到 Mistral 的令牌嵌入 (大小为4096) ；同时确保了音频编码器的参数被冻结，只有投影层是可训练的

从零开始使用音频采样 (Sampling with Audio from Scratch)

在建立了基本模型之后，尝试使用音频输入从模型中采样
具体来说，创建一个音频采样函数，该函数首先加载音频文件的 mel 频谱图，然后通过模型生成文本描述；这个过程中，作者使用了之前定义的损失函数来确保只有标题部分的输出被用于计算损失

定义损失函数 (Defining Loss Function)

作者定义了一个标准的交叉熵损失函数，用于计算模型输出的 logits
具体来说，损失函数的关键在于只计算标题部分的损失，这意味着在计算损失时，会忽略提示和音频序列的部分，并且只关注标题 ID

训练、过拟合和调试梯度 (Training, Overfitting and Debugging Gradients)

最后开始训练模型，目标是通过仅训练可调 Whisper 音频编码器来使冻结的 LLM 能够描述给定的音频文件
具体来说，作者通过手动逐步执行训练步骤，记录并绘制权重更新，以及确保没有 inf 或 NaN 值，来确保训练设置正确；作者使用了简单的 TrainableSubmodule，实现了稳定的训练，并在大约4天的训练后，损失值仍然在下降

🔔 后续计划

通过增加更多音频任务 (如转录、说话者识别等) 来扩大训练规模，并应用微调 LLM 以复现参考论文中描述的“涌现”行为
假设有足够的数据和适当的训练策略，LLM应该能够在无需明确训练的情况下执行原始音频任务，比如识别说话者的年龄或性别

🉑 中国信息通信研究院：2023大模型落地应用案例集

ShowMeAI知识星球资源编码：R223

这是中国信息通信研究院牵头制作的大模型落地应用的案例集，按照通用大模型、垂直大模型、大模型服务这三类，整理了 2023年比较知名的国产大模型。

手册里的每个大模型，都详细介绍了其公司背景、概述、需求分析、案例介绍、效益分析，非常细致规范。也就是说，快速浏览这本手册，就可以完整 get 国产大模型一整年的发展轮廓~

以下是部分目录，感兴趣可以前往星球下载报告全文：

第一章通用大模型

第二章垂类大模型

梧桐·招聘 - 基于百度智能云千帆大模型平台的智能招聘系统
面向游戏行业的图像内容生成式大模型
中公网校：小鹿老师，为年轻人创造更多就业与成长机会
新华妙笔 AI
小布助手
ChatDD 新一代对话式药物研发助手
大模型数据分析智能助理 DeepInsight Copilot
单晶炉自动化工艺识别多模态大模型
基于 NDAI 大模型的政务元宇宙平台
慧政大模型——面向政务服务垂直大模型
基于循道政务大模型的免申即享系统示范应用
东方财富自研金融大模型
基于大模型的信息结构化抽取方法
天津金城银行金融大模型示范应用
文修大模型助力中文校对提质增效
新型金融风险防范可信金融大模型
信阳市智慧工业平台
遥感大模型在农业信贷场景的应用
中国金茂人工智能大模型企业内部场景应用
中山大学附属医院智慧医院项目
阿斯利康：基于学术文献溯源的药品不良反应报告生成助手
基于知识图谱和大语言模型的制造业数字化转型平台
东方翼风大模型
智己汽车：用大模型打造智能时代出行变革者
基于山下话童大模型的贷后催收示范应用
海淀区一网统管接诉即办工程项目
风乌气象大模型
基于大模型的智能培训
面向围手术期的医专大模型研究及其落地应用
通过大语言模型与材料领域技术文件集合对原材料质保书进行智能审查
智能投顾助手——光子·善策

第三章大模型服务

🉑 大语言模型实操课：Learn by Doing LLM Projects (更新中)

github.com/peremartra/…

这是一门 GitHub 目前仍在密集更新的实操课程，主题是 LLM 操作指南。课程每部分都有详细理论讲解 & 实操代码文档，互相搭配使用，可以丝滑完成某个主题的学习。

注意：

大部分代码文档 Notebook 托管在了 Google Colab，一小部分在 Kaggle 上 (因为免费版本可以提供更多内存)
有些 Notebook 所需内容超过了 Colab 免费版本上限，这时可以选择使用 Cloab Pro 版本或者在自己本地环境中运行

课程内容：

技术和库 (Techniques and Libraries)

通过小项目和实际例子探索不同的技术，以便在后续部分构建更大的项目
学习如何使用大型语言模型世界中最常用的库，如OpenAI API、Hugging Face等
涵盖的主题包括聊天机器人、代码生成、OpenAI API、Hugging Face、向量数据库、LangChain、微调 (Fine Tuning) 、PEFT微调、软提示调整 (Soft Prompt tuning) 、LoRA、QLoRA、评估模型和知识蒸馏

项目 (Projects)

创建项目并解释设计决策，每个项目可能有多种实现方式
深入探讨LLMOps相关主题，尽管这不是课程的主要焦点

企业解决方案 (Enterprise Solutions)

大型语言模型不是独立的解决方案，在大型企业环境中，它们只是拼图的一部分
探索如何构建能够改变拥有数千名员工的组织的解决方案，以及大型语言模型在这些新解决方案中扮演的主要角色

👀 最新 Hugging Face 强化学习课程 (中文版) 来啦！

huggingface.co/learn/deep-…

深度强化学习 (Deep Reinforcement Learning) 课程是 HuggingFace 于 2022 年推出的系列课程，深受全球学习者的好评。

现在！官方组织将这门英文课程翻译成了中文！！还会在官方公众号进行系列更新 🎉🎉🎉 目前已经跟新了第一章「深度强化学习简介」 ⋙ 感兴趣可以阅读并关注

课程内容

学习深度强化学习理论和实践
使用著名的深度强化学习库，如Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL
在独特环境中训练代理，如SnowballFight、Huggy the Doggo、VizDoom (Doom)、Space Invaders、PyBullet 等

课程目录

单元1. 深度强化学习简介
奖励单元1. 与 Huggy 一起学习深度强化学习简介
直播1. 课程运作方式、问答和与Huggy互动
单元2. Q 学习简介
单元3. 使用 Atari 游戏的深度 Q 学习
奖励单元2. 使用 Optuna 进行自动超参数调优
单元4. PyTorch 中的策略梯度
单元5. Unity ML-Agents 简介
单元6. 机器人环境中的演员-评论家方法
单元7. 多智能体和AI对战AI简介
单元8. 第1部分：近端策略优化 (PPO)
单元8. 第2部分：在 Doom 中使用近端策略优化 (PPO)
奖励单元3. 强化学习中的高级话题