当国内第一个免费大模型API出现，又可以畅想AGI未来了

最新推荐文章于 2024-08-29 11:12:07 发布

再不会AI就不礼貌了

最新推荐文章于 2024-08-29 11:12:07 发布

阅读量396

点赞数 5

文章标签： agi 人工智能深度学习开源分布式学习产品经理

本文链接：https://blog.csdn.net/Everly_/article/details/141634131

版权

上次因为大模型长文本建模和智谱的哥们约饭，吃饭时候也能感觉到他深深的焦虑。

哥们说，“最近大模型基座进步飞快，但能力提升似乎没有给落地带来超出预期的惊喜。”

确实，我也发现了。“现在大模型落地应用最成功的，不是什么高大上的XX助手，但业务里面各种打标签已经用的飞起了。以前大家咋训一个Bert，先去线上拉数据，然后4个标注标一个月，现在我直接用大模型推一些标签，简单任务，跟人标注的水平不相上下，训小模型绰绰有余。”

但天下没有免费的午餐，这些有实际落地应用的场景，用顶尖的大模型也太费钱了，超过标注的人力成本也不划算。

我跟哥们说，“谁弄个免费不限量的API，大模型落地就容易多了，那不是大功一件。”

哥们猛灌一杯啤酒，陷入了沉思…

过了一段时间，收到一条微信，「你说那个东西，我们搞出来了，GLM-4-Flash的api，全部免费，老用户原来你多少并发，还给你免费多少并发。新用户2路并发，也可以申请提升额度。」

别说，你还真别说，智谱哥们就是靠谱。

那我自己还得偷着乐，我以前用这玩意标注数据，并发拉满，这下赚到了。

GLM-4-Flash大家可能不知道是啥，大概就是定位轻量，高速，够用的大模型。智谱的哥们跟我说，这版模型训练数据到了10T的水平，且这10T的数据，用了大模型清洗过，支持128K的上下文和多语言，生成速度约为72个token/s，大约等于115字符。

你别看他速度快，但其实效果很不错，很适合「打标签」，「总结文章」，「写代码」，「翻译」这种大模型能力甜点区的应用。

大家都知道逻辑推理能力往往是衡量模型性能的重要标准，其决定了模型在求解数学题、完成复杂任务等方面上的能力。Flash虽然是fp8的轻量化版本，但是其推理能力，依然在线。在这里，我选择了一道逻辑推理题来让模型进行推理。

题目「有一个很古老的村子，这个村子的人分两种，红眼睛和蓝眼睛，这两种人并没有什么不同，小孩在没生出来之前，没人知道他是什么颜色的眼睛，这个村子中间有一个广场，是村民们聚集的地方，现在这个村子只有三个人，分住三处。在这个村子，有一个规定，就是如果一个人能知道自己眼睛的颜色并且在晚上自杀的话，他就会升入天堂，这三个人不能够用语言告诉对方眼睛的颜色，也不能用任何方式提示对方的眼睛是什么颜色，而且也不能用镜子、水等一切有反光的物质来看到自己眼睛的颜色，当然，他们不是瞎子，他们能看到对方的眼睛，但就是不能告诉他！他们只能用思想来思考，于是他们每天就一大早来到广场上，面对面的傻坐着，想自己眼睛的颜色，一天天过去了，一点进展也没有。直到有一天，来了一个外地人，他到广场上说了一句话，改变了他们的命运，他说，你们之中至少有一个人的眼睛是红色的。说完就走了。这三个人听了之后，又面对面的坐到晚上才回去睡觉，第二天，他们又来到广场，又坐了一天。当天晚上，就有两个人成功的自杀了！第三天，当最后一个人来到广场，看到那两个人没来，知道他们成功的自杀了，于是他也回去，当天晚上，也成功的自杀了！根据以上，请说出三个人的眼睛的颜色，并能够说出推理过程！」

能看出来，就算是flash版本，也能完美解决这样的逻辑问题。

也支持apicall和网页检索，比如问问天气：

我问哥们，“你们是咋说服老板，下血本免费了的。”

“之前跟你聊天扯皮，之后回去跟老板聊了这个想法，老板就拍板要做中国第一家免费大模型API了。”

果然有情怀，智谱通过多种方式优化大模型运行效率。开放平台采用自适应权重量化、多种并行化方式、批处理策略以及投机采样等多种方法，在推理层面实现模型的延迟降低与速度提升，更大并发量和吞吐量不仅提升了效率，而且让推理成本显著降低。技术进步导致推理成本进一步下降，让普惠AI有实现的契机。

另外，也支持在此基础上微调部署自己的模型，我看了下bigmodel网站上，操作起来也不难，步骤如下：

1.从模型的页面上，点击这个按钮。

也可以选择这个入口：

2.上传你自己的数据就可以了,数据格式如下：

{"messages": [{"role": "system", "content": "你是一位乐于助人，知识渊博的全能AI助手。"},{"role": "user", "content": "请介绍一下AlphaGo的基本原理。"}, {"role": "assistant", "content": "AlphaGo利用深度神经网络与树搜索算法相结合,通过对弈数据进行训练,逐步提升游戏水平,能够对围棋局面进行判断并选择最佳落子位置。"}]}   {"messages": [{"role": "system", "content": "你是一位乐于助人，知识渊博的全能AI助手。"},{"role": "user", "content": "请列举一些健康饮食的重要原则。"}, {"role": "assistant", "content": "健康饮食的重要原则包括:膳食应营养均衡,合理摄入各种营养素;多吃新鲜蔬果,适量饮水;少吃糖、油、盐,忌吃过量快餐;养成规律生活作息习惯,适量运动。"}]}   {"messages": [{"role": "system", "content": "你是一位乐于助人，知识渊博的全能AI助手。"},{"role": "user", "content": "请给出一些改善睡眠质量的建议。"}, {"role": "assistant", "content": "改善睡眠质量的建议包括:保证睡眠时间,避免睡眠不足;睡前放松身心,远离刺激;养成规律作息时间,不要频繁熬夜;适量运动,但不要运动过度;睡前可以喝一杯热牛奶等温和饮料。"}]}

有的场景不需要system，删掉即可

{"messages": [{"role": "user", "content": "请介绍一下AlphaGo的基本原理。"}, {"role": "assistant", "content": "AlphaGo利用深度神经网络与树搜索算法相结合,通过对弈数据进行训练,逐步提升游戏水平,能够对围棋局面进行判断并选择最佳落子位置。"}]}

3.上传完毕，在这里点击确认创建。

4.坐等训练完成后可以点击部署。

5.训练完成后，可以用如下的代码调用自己的API。

from zhipuai import ZhipuAI   client = ZhipuAI(api_key="")   response = client.chat.completions.create(       model="chatglm3-6b-1001",  # 填写需要调用的模型名称       messages=[           {"role": "system", "content": "你是一个人工智能助手，你叫叫chatGLM"},           {"role": "user", "content": "你好！你叫什么名字"},       ],       stream=True,   )   for chunk in response:       print(chunk.choices[0].delta)

有了GLM-4-Flash免费以后，其实能做特别多事儿了。

大家都知道，大模型的能力甜点区是写代码，总结，翻译，简单的语义理解，之前GitHub 基于3.5都搞出了效果不错的copilot，这玩意其实对于大模型要求能力不不至于到4o的程度。

我们其实能找到很多的不错的开源项目，之前的一个难点就是自己部署这种模型，要么需要自己准备GPU部署，要么得充钱买API。

比如我们用使用GLM-4-Flash的免费API结合开源RAG框架langchain搭建一个本地化的知识库检索引擎，就能实现一个私人的知识库管理和查询系统。

可以参考如下代码：

安装langchain，zhipuai和其他必要的库

pip install langchain   pip install zhipuai   pip install unstructured   pip install pdf2image   pip install chromadb   pip install tiktoken

简易脚本

from langchain.embeddings.openai import OpenAIEmbeddings   from langchain.vectorstores import Chroma   from langchain.text_splitter import CharacterTextSplitter   from langchain import OpenAI,VectorDBQA   from langchain.document_loaders import DirectoryLoader   from langchain.chains import RetrievalQA   from zhipuai import ZhipuAI      import os   os.environ["OPENAI_API_KEY"] = 'Your openai key'          #从指定的包大人的知识库目录中加载文件所有的txt文件   loader = DirectoryLoader('./包大人的知识库', glob='**/*.txt')       # 将数据转成 document 对象，每个文件会作为一个 document   documents = loader.load()       # 初始化加载器   text_splitter = CharacterTextSplitter(chunk_size=100, chunk_overlap=0)   # 切割加载的 document   split_docs = text_splitter.split_documents(documents)       # 初始化 openai 的 embeddings 对象   embeddings = OpenAIEmbeddings()   # 将 document 通过 openai 的 embeddings 对象计算 embedding 向量信息并临时存入 Chroma 向量数据库，用于后续匹配查询   docsearch = Chroma.from_documents(split_docs, embeddings)      #创建zhipuai LLM实例    client = ZhipuAI(api_key="")   chatmodel = client.chat.completions.create(       model="chatglm3-6b-1001"   )# 创建问答对象   qa = VectorDBQA.from_chain_type(llm=chatmodel, chain_type="stuff", vectorstore=docsearch,return_source_documents=True)       # 进行问答   result = qa({"query": "最新的GLM-4-flash API是什么时候免费的？"})   # 隐藏知识：最新的GLM-4-flash API是2024年8月免费的   print(result)

我们把这篇文章作为索引，就能得到答案2024年8月。

这就是一个典型的免费API应用例子。

智谱果然是国产大模型开源事业的排头兵，API免费不光意味着成本的降低，如果把国产化大模型看成一个整体的话，开源确实会继续整个群体的智力水平和互相交流不断进步，把整个行业的蛋糕越做越大，最终使整个群体收益。现在智谱开放免费API，更多的人能卷进来用这些开源项目，降低入行的门槛，吸引更多潜在的人才加入这个游戏。反过头来，其实能促进大模型应用落地的进一步加快。从而提高整个社会的运转效率。这个过程往往没有制造内卷，反而制造了大量全新的工作岗位。

OK，不说了，赶紧请哥们吃顿饭，问问他们还藏着什么大招。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓