[学习日志]统计自然语言处理 概率论和信息论

最新推荐文章于 2024-09-27 22:47:07 发布
最新推荐文章于 2024-09-27 22:47:07 发布
阅读量197 收藏 1
点赞数
文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gjh1716718326/article/details/114311972
版权

概率

最大似然估计——用频率代替概率

条件概率

在这里插入图片描述

全概率公式

划分

在这里插入图片描述

全概率公式

在这里插入图片描述

贝叶斯法则

在这里插入图片描述
其实就是把条件概率的分子做了一个变形

贝叶斯决策法则

在这里插入图片描述
在这里插入图片描述

二项分布 伯努利

信息论

熵

在这里插入图片描述
事件的不确定性，随机变量的不确定性
和出现的所有事件个数，以及各事件的可能性有关

联合熵

条件熵

连琐法则

熵率

交叉熵

衡量模型和真实概率之间的差距

困惑度

在这里插入图片描述
困惑度和交叉熵呈指数关系

互信息

指X中包含的Y的信息量
即知道了X之后，能知道多少Y

双字耦合度

噪声信道模型

烫烫烫烫的若愚
关注
大语言模型应用指南：机器学习的过程
AI天才研究院
06-27 277
在过去的几年里,自然语言处理(NLP)领域取得了长足的进步,很大程度上要归功于大型语言模型(Large Language Models, LLMs)的出现和发展。LLMs是一种基于深度学习的技术,能够从大量文本数据中学习语言模式和语义关系,从而生成看似人类编写的自然语言输出。随着计算能力的不断提高和海量数据的积累,训练大规模语言模型成为可能。这些模型在广泛的自然语言处理任务中表现出色,包括机器翻译、文本摘要、问答系统、内容生成等,展现出令人惊叹的语言理解和生成能力。
从信息到知识到智能——理解和改变世界：目的论：Why
AI天才研究院
09-24 1743
由于信息爆炸的到来，使得我们很容易丢失重要的信息。因此，知识就是对信息的整理归纳提炼，而智能则是指人工智能和机器学习等技术的应用。当把目光投向不同层面的智慧时，就会发现无处不在的监控系统、社交网络、搜索引擎、推荐系统、图像识别系统……但是，如何将这些复杂的系统串联起来成为一个更好的整体？如何让它们能够协同工作，共同完成一项任务？如何实现更高效、低成本地处理大量数据？
统计自然语言处理——概率论基础
Shingle_的博客
07-13 1468
对于从事统计自然语言处理来说，了解概率论、信息论以及语言学知识都是很有必要的。 下面内容主要介绍了在统计自然语言处理中需要了解的概率论基础。概率如果P(A)作为事件A的概率，Ω是试验的样本空间，则概率函数满足下面三条公理： 非负性 P(A) >= 0 规范性 P(Ω) = 1 可列可加性：对于不相交的集合Aj ∈F 条件概率和独立性假设事件B的概率已知，那么事件A发生的条件概率为（P(B) > 0
自然语言处理学习（1）一部分概率论知识
qq_20158613的博客
10-08 271
从今天开始学习自然语言处理方面的知识。在这里做一些学习的记录。
统计自然语言处理概率论和信息论基本概念及其推导过程
wahcheung的博客
09-07 1076
统计自然语言处理——预备知识2.1 概率论基本概念2.1.1 概率概率的三个公理 (1) 非负性： P(A)≥0P(A)\geq0 (2) 规范性： P(Ω)=1P(\Omega)=1 (3) 可列可加性： 事件A1,A2,...,Ai,...A_1,A_2,...,A_i,...互不相容（Ai∩Aj=∅A_i \cap A_j=\varnothing），则有 P(⋃i=0∞Ai)=∑i
算法原理 朴素贝叶斯法
troysps的博客
05-07 323
朴素贝叶斯法 什么是朴素贝叶斯法？ 是基于贝叶斯定理与特征条件独立假设的分类方法 对于给定的训练数据集 首先基于特征条件独立假设学习输入/输出的联合概率分布 然后基于此模型 对给定的输入x 利用贝叶斯定理求出后验概率最大的输出y 常用于:文档分类的算法 理论学习图谱 基本方法 1.首先将问题形式化 –用线性代数的思维分析数据集 数据集的一般表现形式 输入变量X与输入变...
统计自然语言处理——概率图模型（1）
wusy的博客
09-01 1429
概述 概率图模型（probabilistic graphical models）在概率模型的基础上，使用了基于图的方法来表示概率分布（或者概率密度、密度函数），是一种通用化的不确定性知识表示和处理方法。 根据图模型的边是否有向，概率图模型通常被划分成有向概率图模型和无向概率图模型。可将图模型粗略的表示为： 几种常见的图模型 动态贝叶斯网络（dynamic Bayesian networks， ...
深度学习模型构建及应用 Building intelligent applications using deep learning
AI天才研究院
09-01 1510
作者：禅与计算机程序设计艺术 1.简介 许多年前，神经网络的发明让计算机从统计学习领域走出来，逐渐成为应用的热点。那么到如今，深度学习已经成为人工智能的主要技术之一。它最重要的特征就是利用深层次神经网络（Deep Neural Networks，DNN）对数据的表示进行抽象化并得到有效的表达，并最终完成
2 | 机器学习中的统计学习方法概论
微信号：RunsenLiu
04-17 1033
统计学习的定义、研究对象和方法、无监督学习、半监督学习、强化学习统计学习方法三要素：模型、策略、算法模型选择：正则化、交叉验证、学习的泛化能力生成模型和判别模型监督学习的应用：分类问题、标注问题、回归问题。
带大家一起了解一些AI算法相关的理论知识、核心算法、代码实现方法和应用场景，希望能够帮助大家更好地理解和运用AI技术解决实际问题
AI天才研究院
08-20 418
滴滴出行的AI团队正在不断探索自然语言处理、图像识别、机器学习等领域，提升服务质量与用户体验。近年来，滴滴出行的AI研发团队已经在不同业务场景下落地并取得了比较好的成果。其中，根据搜索结果的推荐模块，利用深度学习技术进行了商品匹配模型的设计及开发；根据用户上传的图片进行图像识别及目标检测任务，提升图片上传速度及准确率；在个性化推荐场景中，通过基于文本的召回算法和行为数据的分析，为用户提供更精准的推荐结果。
统计自然语言处理（概率上下文无关文法）
continueOo的博客
06-03 6634
什么是语法解析在自然语言中，句子可以分为主谓宾等表示。人们说话的方式（即使是在酒后的胡言乱语）也存在一些结构和规则。语言学中的语法分析的目标就是努力分离出这些语法结构。词语之间绝非是简单的顺序关系，它必须是描述词语如何相联系的。语法解析中有两个主要的问题： 1.句子语法在计算机中的表达与储存方式。 2.语法解析算法。对于第一个问题，最近50年间，最主要的方法就是为每个句子构造一个树结构。举例如下
概率论2 频率与概率 几何概率
雪儿的博客
03-27 311
40：03
统计学初识之基本分布类型和大数定律
toretto_ana的博客
02-28 2241
离散型随机变量有很多重要的分布，今天我们介绍两种最常用的概率分布，即二项分布和泊松分布。 （1）二项分布 实际问题中，很多实验与掷硬币的试验有共同的性质，他们只包含两个结果。这类试验有些共同的性质可总结如下： 试验包含了n个相同的试验。 每次试验只有两个可能的结果：“成功”或者“失败”。这里成功和失败是指广义的含义。 出现成功的概率p对每一次试验是相同的；失败的概率q也不变。 试验是相...
统计学基础——常用的概率分布（二项分布、泊松分布、指数分布、正态分布）
热门推荐
huangguohui_123的博客
12-17 5万+
变量类型： 连续型变量 如：正态分布 离散型变量 如：二项分布、泊松分布 三者之间的关系 二项分布(Binomial distribution) 二项分布(Binomial distribution)是n重伯努利试验成功次数的离散概率分布，记作。伯努利试验是只有两种可能结果的单次随机试验。 伯努利试验都可以表达为“是或否”的问题。例如，抛一次硬币是正面...
[大语言模型-论文精读] 大语言模型是单样本URL分类器和解释器
09-27 842
恶意URL分类是网络安全的关键部分。尽管现有的工作包括了许多基于机器学习和深度学习的URL分类模型，但大多数模型由于缺乏代表性的训练数据集而存在泛化和领域适应问题。此外，这些模型未能以自然人类语言提供给定URL分类的解释。在这项工作中，我们研究并展示了使用大型语言模型（LLMs）来解决这个问题。具体来说，我们提出了一个基于LLM的一次性学习框架，使用链式思考（CoT）推理来预测给定URL是否是良性或网络钓鱼。
自然语言处理（jieba库分词）
最新发布
m0_61903191的博客
09-27 298
一个好的NLP系统一定要有完备的词典，用于判断算法分出的词是否是具有实际意义的词。自定义一个词典，比如dic = ["项目", "研究", "目的", "商品", "服务", "和服", "和尚", "尚未", "生命", "起源", "当下", "雨天", "地面", "积水", "下雨天", "欢迎", "老师", "生前", "就餐", "迎新", "师生", "前来"]。实现相关的分词方法：完全切分、正向最长匹配、逆向最长匹配、双向最长匹配算法，并输入一些句子验证分词结果的正确性。
NLP 主流应用方向
xymspace
09-22 446
【代码】NLP 主流应用方向。
SGLang——结构化语言模型程序的高效执行
知来者逆的博客
09-23 1041
实验表明，与各种大型语言和多模态模型上的最先进推理系统相比，SGLang 实现了高达 6.4 倍的吞吐量，可处理代理控制、逻辑推理、小样本学习基准、JSON 解码、检索增强生成管道和多轮聊天等任务。实验表明，与各种大型语言和多模态模型上的最先进推理系统相比，SGLang 实现了高达 6.4 倍的吞吐量，可处理代理控制、逻辑推理、小样本学习基准、JSON 解码、检索增强生成管道和多轮聊天等任务。较大模型的加速趋势与较小模型的加速趋势相似，表明 SGLang 的优化可以很好地推广到较大的模型。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值