[学习日志]统计自然语言处理 概率论和信息论

最新推荐文章于 2024-09-20 23:31:36 发布
最新推荐文章于 2024-09-20 23:31:36 发布
阅读量197 收藏 1
点赞数
文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gjh1716718326/article/details/114311972
版权

概率

最大似然估计——用频率代替概率

条件概率

在这里插入图片描述

全概率公式

划分

在这里插入图片描述

全概率公式

在这里插入图片描述

贝叶斯法则

在这里插入图片描述
其实就是把条件概率的分子做了一个变形

贝叶斯决策法则

在这里插入图片描述
在这里插入图片描述

二项分布 伯努利

信息论

熵

在这里插入图片描述
事件的不确定性，随机变量的不确定性
和出现的所有事件个数，以及各事件的可能性有关

联合熵

条件熵

连琐法则

熵率

交叉熵

衡量模型和真实概率之间的差距

困惑度

在这里插入图片描述
困惑度和交叉熵呈指数关系

互信息

指X中包含的Y的信息量
即知道了X之后，能知道多少Y

双字耦合度

噪声信道模型

烫烫烫烫的若愚
关注
大语言模型应用指南：机器学习的过程
程序员光剑
06-27 269
在过去的几年里,自然语言处理(NLP)领域取得了长足的进步,很大程度上要归功于大型语言模型(Large Language Models, LLMs)的出现和发展。LLMs是一种基于深度学习的技术,能够从大量文本数据中学习语言模式和语义关系,从而生成看似人类编写的自然语言输出。随着计算能力的不断提高和海量数据的积累,训练大规模语言模型成为可能。这些模型在广泛的自然语言处理任务中表现出色,包括机器翻译、文本摘要、问答系统、内容生成等,展现出令人惊叹的语言理解和生成能力。
从信息到知识到智能——理解和改变世界：目的论：Why
程序员光剑
09-24 1737
由于信息爆炸的到来，使得我们很容易丢失重要的信息。因此，知识就是对信息的整理归纳提炼，而智能则是指人工智能和机器学习等技术的应用。当把目光投向不同层面的智慧时，就会发现无处不在的监控系统、社交网络、搜索引擎、推荐系统、图像识别系统……但是，如何将这些复杂的系统串联起来成为一个更好的整体？如何让它们能够协同工作，共同完成一项任务？如何实现更高效、低成本地处理大量数据？
统计自然语言处理——概率论基础
Shingle_的博客
07-13 1467
对于从事统计自然语言处理来说，了解概率论、信息论以及语言学知识都是很有必要的。 下面内容主要介绍了在统计自然语言处理中需要了解的概率论基础。概率如果P(A)作为事件A的概率，Ω是试验的样本空间，则概率函数满足下面三条公理： 非负性 P(A) >= 0 规范性 P(Ω) = 1 可列可加性：对于不相交的集合Aj ∈F 条件概率和独立性假设事件B的概率已知，那么事件A发生的条件概率为（P(B) > 0
自然语言处理学习（1）一部分概率论知识
qq_20158613的博客
10-08 268
从今天开始学习自然语言处理方面的知识。在这里做一些学习的记录。
统计自然语言处理概率论和信息论基本概念及其推导过程
wahcheung的博客
09-07 1076
统计自然语言处理——预备知识2.1 概率论基本概念2.1.1 概率概率的三个公理 (1) 非负性： P(A)≥0P(A)\geq0 (2) 规范性： P(Ω)=1P(\Omega)=1 (3) 可列可加性： 事件A1,A2,...,Ai,...A_1,A_2,...,A_i,...互不相容（Ai∩Aj=∅A_i \cap A_j=\varnothing），则有 P(⋃i=0∞Ai)=∑i
算法原理 朴素贝叶斯法
troysps的博客
05-07 323
朴素贝叶斯法 什么是朴素贝叶斯法？ 是基于贝叶斯定理与特征条件独立假设的分类方法 对于给定的训练数据集 首先基于特征条件独立假设学习输入/输出的联合概率分布 然后基于此模型 对给定的输入x 利用贝叶斯定理求出后验概率最大的输出y 常用于:文档分类的算法 理论学习图谱 基本方法 1.首先将问题形式化 –用线性代数的思维分析数据集 数据集的一般表现形式 输入变量X与输入变...
统计自然语言处理——概率图模型（1）
wusy的博客
09-01 1427
概述 概率图模型（probabilistic graphical models）在概率模型的基础上，使用了基于图的方法来表示概率分布（或者概率密度、密度函数），是一种通用化的不确定性知识表示和处理方法。 根据图模型的边是否有向，概率图模型通常被划分成有向概率图模型和无向概率图模型。可将图模型粗略的表示为： 几种常见的图模型 动态贝叶斯网络（dynamic Bayesian networks， ...
深度学习模型构建及应用 Building intelligent applications using deep learning
程序员光剑
09-01 1507
作者：禅与计算机程序设计艺术 1.简介 许多年前，神经网络的发明让计算机从统计学习领域走出来，逐渐成为应用的热点。那么到如今，深度学习已经成为人工智能的主要技术之一。它最重要的特征就是利用深层次神经网络（Deep Neural Networks，DNN）对数据的表示进行抽象化并得到有效的表达，并最终完成
2 | 机器学习中的统计学习方法概论
微信号：RunsenLiu
04-17 1029
统计学习的定义、研究对象和方法、无监督学习、半监督学习、强化学习统计学习方法三要素：模型、策略、算法模型选择：正则化、交叉验证、学习的泛化能力生成模型和判别模型监督学习的应用：分类问题、标注问题、回归问题。
带大家一起了解一些AI算法相关的理论知识、核心算法、代码实现方法和应用场景，希望能够帮助大家更好地理解和运用AI技术解决实际问题
程序员光剑
08-20 417
滴滴出行的AI团队正在不断探索自然语言处理、图像识别、机器学习等领域，提升服务质量与用户体验。近年来，滴滴出行的AI研发团队已经在不同业务场景下落地并取得了比较好的成果。其中，根据搜索结果的推荐模块，利用深度学习技术进行了商品匹配模型的设计及开发；根据用户上传的图片进行图像识别及目标检测任务，提升图片上传速度及准确率；在个性化推荐场景中，通过基于文本的召回算法和行为数据的分析，为用户提供更精准的推荐结果。
统计自然语言处理（概率上下文无关文法）
continueOo的博客
06-03 6631
什么是语法解析在自然语言中，句子可以分为主谓宾等表示。人们说话的方式（即使是在酒后的胡言乱语）也存在一些结构和规则。语言学中的语法分析的目标就是努力分离出这些语法结构。词语之间绝非是简单的顺序关系，它必须是描述词语如何相联系的。语法解析中有两个主要的问题： 1.句子语法在计算机中的表达与储存方式。 2.语法解析算法。对于第一个问题，最近50年间，最主要的方法就是为每个句子构造一个树结构。举例如下
概率论2 频率与概率 几何概率
雪儿的博客
03-27 310
40：03
统计学初识之基本分布类型和大数定律
toretto_ana的博客
02-28 2240
离散型随机变量有很多重要的分布，今天我们介绍两种最常用的概率分布，即二项分布和泊松分布。 （1）二项分布 实际问题中，很多实验与掷硬币的试验有共同的性质，他们只包含两个结果。这类试验有些共同的性质可总结如下： 试验包含了n个相同的试验。 每次试验只有两个可能的结果：“成功”或者“失败”。这里成功和失败是指广义的含义。 出现成功的概率p对每一次试验是相同的；失败的概率q也不变。 试验是相...
统计学基础——常用的概率分布（二项分布、泊松分布、指数分布、正态分布）
热门推荐
huangguohui_123的博客
12-17 5万+
变量类型： 连续型变量 如：正态分布 离散型变量 如：二项分布、泊松分布 三者之间的关系 二项分布(Binomial distribution) 二项分布(Binomial distribution)是n重伯努利试验成功次数的离散概率分布，记作。伯努利试验是只有两种可能结果的单次随机试验。 伯努利试验都可以表达为“是或否”的问题。例如，抛一次硬币是正面...
关于 NLP 深度学习的核心流程
最新发布
xymspace
09-20 783
关于语言模型：- 作用判断那一句话相对更合理，相对不合理的会得到较底的分值：挑选成句概率分值最高的- 评价指标：PPL（Perplexity） 困惑度- 评估一个语言模型在给定数据集上的预测效果- PPL 值与成句概率成反比（PPL 越小，成句概率越高）
大型语言模型 (LLM) 劫持攻击不断升级，导致每天损失超过 100,000 美元
网络研究观
09-20 856
这一趋势反映了 LLM 访问黑市的不断增长，攻击者的动机包括个人使用和规避禁令和制裁。LLMjacking 的频率和复杂性不断提高，给云用户带来了巨大的财务和安全风险。
机器翻译之创建Seq2Seq的编码器、解码器
Hiweir的博客
09-18 286
【代码】创建Seq2Seq的编码器、解码器。
计算机人工智能前沿进展-大语言模型方向-2024-09-20
09-20 1045
计算机人工智能前沿进展，大语言模型LLM, 2024-09-20 论文速读
统计自然语言处理基础概览
2. 数学基础：这部分详细阐述了统计自然语言处理所需的数学工具，如概率论、统计推断、信息论等，为后续章节的学习打下坚实的数学基础。 3. 语言学基础：作者讨论了语言学的基本原理，如句法、语义和语用学，这些是...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值