“ 在某些方面,ChatGPT依然在商业模型中占据绝对优势。”
01
—
这几天在学习与专属知识库开发相关的技术,读到以下这段代码。
(知识库项目介绍见这篇文章:教程|使用免费GPU 资源搭建专属知识库 ChatGLM2-6B + LangChain)
from sklearn.metrics import PrecisionRecallDisplay
def evaluate_embeddings_approach(
labels = ['negative', 'positive'],
model = EMBEDDING_MODEL,
):
label_embeddings = [get_embedding(label, engine=model) for label in labels]
def label_score(review_embedding, label_embeddings):
return cosine_similarity(review_embedding, label_embeddings[1]) - cosine_similarity(review_embedding, label_embeddings[0])
probas = df["embedding"].apply(lambda x: label_score(x, label_embeddings))
preds = probas.apply(lambda x: 'positive' if x>0 else 'negative')
report = classification_report(df.sentiment, preds)
print(report)
display = PrecisionRecallDisplay.from_predictions(df.sentiment, probas, pos_label='positive')
_ = display.ax_.set_title("2-class Precision-Recall curve")
evaluate_embeddings_approach(labels=['An Amazon review with a negative sentiment.', 'An Amazon review with a positive sentiment.'])
遇到许多陌生的名词、概念,和不熟悉的代码功能,第一时间,我立刻想到用AI人工智能来帮我解读这段代码。
一、Claude
由于之前的使用体验,我对Claude在写作风格、文字输出和概念介绍等方面比较满意,所以这次我想先让Claude来解释一下。
根据代码,Claude 逐步解释了这段代码的功能。一眼扫下来,感觉明白了,又没明白的状态。
二、再让谷歌家的 Bard 试试。
Bard 上来给我用英文解释了一通代码,但这不是我想要的。可能是之前我测试图片功能,设置了 Chrome 浏览器的语言为英文的缘故?
不过 Bard 展示出了作为搜索引擎起家的优势,在最后面给出来两个代码的来源。其中一个就是是 OpenAI 的 Github 仓库地址,方便更好的延展学习了。
接着让 Bard 翻译成中文,没想到,它把代码翻译成了中文,而我本意是让它把之前的英文回复翻译中文。
只好重复了一下问题:“用中文解释这段代码:。。。。。。”
这次 Bard 在代码中加了中文注释,并且在代码后面附上了完整的代码功能解释。
三、ChatGPT3.5
感觉还是差点意思,读起来有点费劲,最后再试一下我快要抛弃的旧爱 ChatGPT 3.5。
不出意外,出了意外惊喜,ChatGPT 3.5 给了我最想看到的回答。
它在每一行代码上面加了功能注释,这样的形式,是最合适开发人员阅读理解代码的形式。
而且最开始给出了总结:“是一个用于评估嵌入式模型(embedding model)效果的函数。”。结尾部分,给出了提示:“这段代码中可能有一些函数或变量并未在给定代码片段中定义”。
显然,ChatGPT 看出来这段代码只是摘取的一部分,从可运行的角度,给出了未定义函数或者变量的提醒。
02
—
最近两个月,各家AI大模型厂商都相继推出了更新,作为一个AI的重度患者,我也迫不及待地跟进并亲身体验了这些更新。
感兴趣的朋友可以看看之前的文章。
又一家顶级的大模型开源商用了!Meta(Facebook)的 Llama 2 搅动大模型混战的格局
谷歌 Bard 深夜更新:支持中文、语音输入/播报、代码导出、对话分享
Claude 2 体验! 免费使用,生成代码,逻辑推理提升,对话记忆更长
Bard!谷歌对 ChatGPT 的最强反击,悄咪咪的支持中文了!
通过这次对三家AI模型的代码解释和比较体验:
Claude 排最后。根据官方的信息,它优势在长文本和底层安全性做了改进。可能这个方面没体现出它的优势。
Bard 略逊一筹。但是它的优势可以提供源码出处,供学习延展。而且它有谷歌全家桶的支持,许多应用可以轻松地构建在其之上。例如,搜索引擎、文档处理、在线代码调试、语音输入输出等功能都能与 Bard 无缝衔接,这使得它变得更加灵活多样。
谷歌在这方面的应用优势比较大,在实际使用过程中,我发现用户会问很多搜索引擎能回答,但是预训练模型无法回答或者不好的问题。例如:问最近发生的新闻事实;问某地区的治疗某病症的医院或者专家信息。
ChatGPT的回答最符合我对这个问题的期望。不得不说,随着对预训练模型的研究越深入,我越发觉得这家公司训练的模型确实非常强大。
看来,有必要再次启用那个能够将多家AI人工智能模型集成在一起,比较它们各自答案不同之处的工具了:ChatALL:发现最佳答案的神奇AI机器人!这样可以更全面地了解各家模型的优势和劣势,并做出更准确的综合评估。
往期热门文章推荐:
AI人工智能大模型失守!ChatGPT、BARD、BING、Claude 相继被"提示攻击"攻陷!
为什么对ChatGPT、ChatGLM这样的大语言模型说“你是某某领域专家”,它的回答会有效得多?(二)
Prompt 用法大全!让 ChatGPT 更智能的六种策略(下)
拥抱未来,学习 AI 技能!关注我,免费领取 AI 学习资源。