搜索神器Perplexity的详细使用方法(持续更新)

  大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名,科大讯飞比赛第三名,CCF比赛第四名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

  本文主要介绍了Perplexity的详细使用方法,希望对新手有所帮助。需要说明的是,Perplexity不需要上网工具,很方便新手和小白上手使用。Perplexity的官网链接为:https://www.perplexity.ai/
在这里插入图片描述

1. 为什么要讲Perplexity?

  虽然ChatGPT能够完成文章创作(创作故事、撰写新闻、编写论文)、代码辅助(编写代码、查找Bug)、回答各类问题。看似是无所不能,但作为一名深耕AI多年的从业者,客观的说ChatGPT的确是有史以来功能最为强大的聊天机器人,它各种实用功能于一身,而且能够在精细的提醒下修正错误信息,具有强大的互动能力。但它还是包括了一些缺点的:

  • 无法连接互联网,所以无法获取最新信息。
    在这里插入图片描述
  • 基于2021年9月及其以前的数据进行训练而成的,所以无法获取到近两年的事实信息
    在这里插入图片描述
  • 由于ChatGPT是纯生成式模型,并且无法给出信息来源,所以可能在部分场景中会存在一本正经的胡说八道的情况。
    在这里插入图片描述

2.

### 如何计算困惑度 (Perplexity) 在机器学习和自然语言处理领域,困惑度是一个重要的评价指标,用来衡量模型对文本数据的预测能力。具体来说,困惑度反映了模型对于给定测试集的概率分布有多“困惑”,即不确定性程度。 #### 困惑度定义 困惑度被定义为: \[ \text{Perplexity} = P(w_1, w_2, ..., w_n)^{-\frac{1}{N}} \] 其中 \(P\) 表示由语言模型给出的一系列词序列的概率估计;\(w_i\) 是第 i 个单词;而 N 则代表整个句子中的总词汇数[^2]。 当应用到实际场景时,上述公式可以转换成更易于操作的形式: \[ PP(W) = \left(\prod_{i=1}^{n}\frac{1}{p(w_i|w_1,...,w_{i-1})}\right)^{\frac{1}{n}} \] 这里 p() 函数表示条件概率,即基于前缀词语来预测下一个词语出现的可能性大小。 为了简化运算过程并防止数值下溢问题,在实践中经常采用对数形式表达该公式: \[ \log PP(W)= -\frac{1}{n}\sum^n_{i=1}\log p(w_i | w_1 ,..., w_{i−1}) \] 最后通过指数化得到最终的结果。 #### Python 实现代码 下面提供了一个简单的Python函数实现,用于计算给定文本字符串上的困惑度得分: ```python import math from collections import defaultdict def calculate_perplexity(model, text): words = text.split() n = len(words) log_sum = sum(math.log(prob) for prob in [model.get(word, 0.00001) for word in words]) perplexity_value = math.exp(-1/n * log_sum) return perplexity_value ``` 此段代码假设 `model` 是一个字典对象,键为单个词汇项,值为其对应的频率或概率估计。注意这里的平滑处理是为了避免零概率带来的无穷大问题。
评论 28
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

herosunly

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值