拉普拉斯修正——机器学习中常用的数据平滑处理方法

最新推荐文章于 2024-05-28 18:02:08 发布
最新推荐文章于 2024-05-28 18:02:08 发布
阅读量2.6k 收藏 4
点赞数
文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52931616/article/details/130562052
版权
拉普拉斯修正平滑方法

在朴素贝叶斯分类器中，计算条件概率 P ( x ∣ y ) P(x|y) P(x∣y)时，如果在某个类别下没有观测到某个特征值，那么P(x|y)的值就会变成0，这会导致朴素贝叶斯分类器失去分类能力。例如，在周志华老师的西瓜书的第7.3章提到，在西瓜数据集3.0中对于一个“敲声=清脆”的测试用例，有 P ( 敲声 = 清脆 ∣ 好瓜 = 是 ) P(敲声=清脆|好瓜=是) P(敲声=清脆∣好瓜=是)=0，因此基于朴素贝叶斯公式，无论该样本的其它属性是什么，它的分类结果都会是“好瓜=否”。为了解决这个问题，我们需要对条件概率进行平滑，使得即使在没有观测到某个特征值的情况下，对应的概率值也不会为0。

**拉普拉斯修正的本质是给每个计数加上一个较小的数，该值通常为1,既保证了每个属性概率非零又保证了概率和为1。**假设用N表示训练集中总共的分类数;属性 a i a_i ai​可能的取值数用

最低0.47元/天 解锁文章
机器学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-12 16万+
机器学习按照模型类型分为监督学习模型、无监督学习模型和概率模型三大类,文章对十大机器学习算法进行详细介绍并阐述机器学习其他概念问题，可作为机器学习初学者学习使用。
计算机保研/考研面试复习——机器学习篇
zeng699304的博客
02-10 699
计算机保研/考研面试复习——机器学习篇
机器学习—数据平滑
热门推荐
weixin_43612049的博客
10-03 1万+
问题：为什么进行平滑？ 数据平滑是数据预处理中比较重要的一块，但是往往会忽略它。数据平滑通常对噪声这一块进行处理，平滑的本质就是用来解决零概率问题，尽量使概率分布趋于均匀，使数据变得更可用。 下面介绍几种自己总结的数据平滑的方法： 1.分箱法平滑 首先进行数据排序，将他们分到等宽的箱中（既是分成几部分），然后按照箱中数据的平均值（中值等）进行平滑。 2.回归法平滑 通过数据找到一个回归...
拉普拉斯修正学习笔记
weixin_44031260的博客
11-17 2016
为什么要做平滑处理?   由于在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，会导致整个实例的概率结果是0。   如，在文本分类的问题中，当一个词语没有在训练样本中出现，该词语属于各类的概率为0，使用连乘计算文本出现在各类的概率也均为0。这是不合理的，不能因为一个事件没有观察到就认定该事件被分类的概率是0。      为了解决零概率的问题，法国数学家拉普拉斯最早提出用加1的方...
朴素贝叶斯：拉普拉斯修正
weixin_43760067的博客
04-02 2496
朴素贝叶斯分类，这种方法的预测发现了一个问题：某个样本的属性值并未出现在训练集中，导致尽管要预测的这个苹果看起来很像是好果，但是朴素贝叶斯目标函数的结果仍为0，最终被划分为一般的苹果，有些时候这并不是合理的，那么该如何解决呢？ 如下的数据集： 大小 颜色 形状 标签 1 小 青色 非规则 否 2 大 红色 非规则 是 3 大 红色 圆形 是 4 大 青色 圆形 否 5 ...
拉普拉斯平滑处理 Laplace Smoothing
weixin_30294295的博客
04-27 1196
背景:为什么要做平滑处理? 　　零概率问题，就是在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，会导致整个实例的概率结果是0。在文本分类的问题中，当一个词语没有在训练样本中出现，该词语调概率为0，使用连乘计算文本出现概率时也为0。这是不合理的，不能因为一个事件没有观察到就武断的认为该事件的概率是0。 拉普拉斯的理论支撑 　　为了解决零概率的问题，法国数学家拉普...
机器学习 贝叶斯分类器 拉普拉斯修正
今晚看星星的博客
12-04 8975
文章目录1. 贝叶斯决公式2. 使用西瓜数据集3. 朴素贝叶斯3. 拉普拉斯修正4. 代码5. 结果5.1 训练数据集5.2 训练数据集5.3 结果6. 参考书籍 在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决策考虑如何基于这些概率和误判损失来选择最优的类> > 别标记 寻找一个判定准则 h:X → Y以最小化总体风险 贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记 被称为贝叶斯最优分类器，与之对应的总体风险R(h*)称为贝叶
机器学习——逻辑回归（Logistic Regression）
weixin_74340055的博客
05-28 854
这里，np.ones((X_train.shape[0], 1)) 创建了一个形状为 (n_samples, 1) 的数组，其中 n_samples 是 X_train 的样本数量，所有元素的值都是1。在逻辑回归中，这个函数的主要目的是将线性模型的输出转换为一个介于0和1之间的概率值，这样我们就可以用这个概率值来判断某个样本属于正类（例如，标签为1）的。在逻辑回归中，当我们已经有了线性回归模型的基础后，为了将模型的输出转换为概率值（即预测某个事件发生的可能性），我们引入了sigmoid函数。
图机器学习——4.3 节点分类：Correct & Smooth （C&S）
Kanny
12-05 3520
Correct & Smooth （C&S） 1）方法介绍 如今，图神经网络（GNN）是图学习方面的主要技术，在很多图结构相关的预测任务上取得了最顶尖的成绩，但在节点分类任务上，Correct & Smooth （C&S）可谓异军突起，通过基础浅层模型和“矫正”与“光滑”两个基于标签传播的后处理步骤即可达到甚至超越当前主流 GNNs 模型的性能，并且参数量和训练及运行时间远低于复杂的 GNNs 结构。 下图为截至当前（2021/11/21）最顶尖的图中的节点分类方法排名，数据
【数据挖掘】拉普拉斯修正 ( 判别模型 | 概率模型 | 贝叶斯分类 | 拉普拉斯修正 | 朴素贝叶斯分类应用场景 | 朴素贝叶斯优缺点 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
04-21 3768
I . 判别模型 与 概率模型 II . 贝叶斯分类 III . 拉普拉斯修正 IV . 使用 朴素贝叶斯分类器 + 拉普拉斯修正 为样本分类 ( 完整分类流程 ) V . 朴素贝叶斯分类器使用 VI . 朴素贝叶斯分类的优缺点
朴素贝叶斯采用拉普拉斯修正，完全按照西瓜书的实现，避免某个属性出现概率为0的情况
05-01
西瓜书上第七章朴素贝叶斯采用拉普拉斯修正，简单易懂，关键代码都有注释，适合初学者的理解
3种模型朴素贝叶斯、拉普拉斯平滑完成文本分类
06-14
朴素贝叶斯完成文本分类，包含现在常用的文档、单词、混合 3种模型。引入了拉普拉斯平滑技术，通俗易懂。
数据预处理之剔除异常值及平滑处理
08-19
《数据预处理之剔除异常值及平滑处理》这个书籍教材介绍了一类这样的方法，帮助大家理解。
机器学习(六)：朴素贝叶斯及拉普拉斯修正
LW的技术小筑
01-10 5470
一.前言 2022年的第一篇博客，《机器学习》这个专栏去年由于自己的时间原因，更新的不勤，乘最近稍微有点时间准备开始陆陆续续更新，今天先来一道开胃菜：带拉普拉斯修正的朴素贝叶斯，话不多说请看下文。 二.贝叶斯定理 在正式介绍朴素贝叶斯算法之前先介绍下与其息息相关的贝叶斯定理（参考维基百科），其数学形式如下所示： P(A∣B)=P(A)P(B∣A)P(B) P(A|B) = \frac{P(A)P(B|A)}{P(B)} P(A∣B)=P(B)P(A)P(B∣A)​ 在贝叶斯定理中: P(A∣B)P(A|B
朴素贝叶斯分类：拉普拉斯修正
相信相信的力量
11-27 6056
拉普拉斯修正上面通过这个例子折射处一个问题：训练集上，很多样本的取值可能并不在其中，但是这不并代表这种情况发生的概率为0，因为未被观测到，并不代表出现的概率为0 。正如上面的样本，看其他两个属性很可能属于好苹果，但是再加上颜色：青色，这三个属性取值组合在训练集中并未出现过，所以朴素贝叶斯分类后，这个属性取值的信息抹掉了其他两个属性的取值，在概率估计时，通常解决这个问题的方法是要进行平滑处理，常用拉普
拉普拉斯平滑处理
122&&113的博客
07-13 939
贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类 贝叶斯定理：P(B∣A)=P(A∣B)P(B)P(A)P(B|A) = \frac{P(A|B)P(B)}{P(A)}P(B∣A)=P(A)P(A∣B)P(B)​ P(A∣B)P(A|B)P(A∣B)表示在B事件已经发生的情况下A事件发生的概率，称为条件概率，P(A∣B)=P(AB)P(B)P(A|B)=\frac{P(AB)}{P(B)}P(A∣B)=P(B)P(AB)​。 朴素贝叶斯思想：对于给出的待分类项，求出在此.
【数据挖掘】数据挖掘总结 ( 拉普拉斯修正 | 贝叶斯分类器示例2 ) ★
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
12-27 2108
一、 贝叶斯分类器分类的流程、 二、 拉普拉斯修正、 三、 贝叶斯分类器示例2、
统计学习笔记4—朴素贝叶斯法
DMU_lzq1996的博客
09-22 278
第四章 朴素贝叶斯法 4.1朴素贝叶斯法的学习与分类 4.1.1基本方法 朴素贝叶斯法通过训练数据集学习联合概率分布。 利用先验概率分布和条件概率分布求得联合概率分布： 条件概率参数是指数级，太复杂—条件独立性假设：用于分类的特征在类确定的条件下是独立的。 朴素贝叶斯分类器： 4.1.2 后验概率最大化的含义 朴素贝叶斯法就是将实例分到后验概率最大的类中。 因此期望风险最小化就是后验概率最大...
拉普拉斯校准（平滑公式）是给频率表中每个计数加上一个较小的数，保证每个特征发生概率不为0的情况。...
weixin_30477797的博客
06-13 542
拉普拉斯校准是给频率表中每个计数加上一个较小的数，保证每个特征发生概率不为0的情况。 拉普拉斯平滑是给频率表中每个计数加上一个较小的数，保证每个特征发生概率不为0的情况。第一封只有w1,2只有w2,3只有w3,4只有w4,垃圾邮件总数+4。正常邮件总数=正常+倍数(正常÷垃圾)*4总似然：只求分子，分母不求 转载于:https://www.cnblogs.com/huiandong/p/9178...
机器学习西瓜书作业
最新发布
03-28
### 关于《机器学习》西瓜书的相关习题解答与实验代码 以下是关于《机器学习》西瓜书中涉及的习题解答以及部分实验代码的总结： #### 一、第六章相关内容 在第六章中，主要讨论的是支持向量机（SVM）。如果需要完成该章节中的课后习题，可以参考如下思路： - **理论推导**：针对公式推导类题目，建议仔细阅读课本中的定义并结合线性代数的知识进行求解[^1]。 - **实践操作**：可以通过 Python 的 `sklearn` 库来实现 SVM 模型。例如，构建一个简单的二分类模型： ```python from sklearn import svm import numpy as np X = np.array([[0, 0], [1, 1]]) y = np.array([0, 1]) clf = svm.SVC(kernel='linear') clf.fit(X, y) print(clf.predict([[2., 2.]])) ``` --- #### 二、第七章相关内容 第七章重点介绍了朴素贝叶斯算法及其改进方法——拉普拉斯平滑修正。以下是一个基于拉普拉斯修正的朴素贝叶斯分类器实现，并以西瓜数据集为例对样本进行判别[^2]。 ##### 数据预处理 假设我们已经加载了西瓜数据集 3.0 并将其划分为训练集和测试集，则可按照以下方式实现分类器： ```python def naive_bayes_laplace(train_data, test_sample): from collections import defaultdict class_counts = defaultdict(int) feature_probs = {} # 统计类别数量 for sample in train_data: label = sample[-1] class_counts[label] += 1 total_samples = sum(class_counts.values()) # 计算先验概率 P(Ck) prior_probabilities = {label: count / total_samples for label, count in class_counts.items()} # 初始化条件概率表 for label in class_counts.keys(): feature_probs[label] = defaultdict(lambda: 1) # 使用 Laplace 平滑初始化为 1 # 更新条件概率表 for sample in train_data: features = sample[:-1] label = sample[-1] for i, value in enumerate(features): key = f"{i}_{value}" feature_probs[label][key] += 1 # 归一化条件概率 for label, counts in feature_probs.items(): normalization_factor = sum(counts.values()) + len(set(feature.split('_')[1] for feature in counts)) * 1 for key in counts: counts[key] /= normalization_factor # 测试阶段 max_posterior = None predicted_label = None for label in class_counts.keys(): posterior = prior_probabilities[label] for i, value in enumerate(test_sample): key = f"{i}_{value}" posterior *= feature_probs[label].get(key, 1e-8) # 防止零概率 if not max_posterior or posterior > max_posterior: max_posterior = posterior predicted_label = label return predicted_label ``` 调用上述函数即可完成预测任务。 --- #### 三、第四章相关内容 第四章探讨了决策树的学习过程及相关性质。其中提到的一个重要结论是：对于不含冲突的数据集，总能通过某种划分策略找到一棵满足训练误差为零的决策树[^5]。 为了验证这一结论，我们可以利用 ID3 或 C4.5 算法手动构造一颗决策树。下面提供了一个简化版的决策树生成逻辑： ```python def create_decision_tree(data_set, labels): class_list = [example[-1] for example in data_set] # 如果所有实例属于同一类 if class_list.count(class_list[0]) == len(class_list): return class_list[0] # 如果特征耗尽 if len(data_set[0]) == 1: return majority_vote(class_list) best_feature_index = choose_best_splitting_feature(data_set) best_feature_label = labels[best_feature_index] tree = {best_feature_label: {}} del(labels[best_feature_index]) unique_values = set(example[best_feature_index] for example in data_set) for value in unique_values: sub_labels = labels[:] tree[best_feature_label][value] = create_decision_tree(split_data_set(data_set, best_feature_index, value), sub_labels) return tree # 辅助函数 def split_data_set(data_set, axis, value): ret_data_set = [] for feat_vec in data_set: if feat_vec[axis] == value: reduced_feat_vec = feat_vec[:axis] reduced_feat_vec.extend(feat_vec[axis+1:]) ret_data_set.append(reduced_feat_vec) return ret_data_set def majority_vote(class_list): vote_dict = {} for cls in class_list: vote_dict[cls] = vote_dict.get(cls, 0) + 1 sorted_votes = sorted(vote_dict.items(), key=lambda item:item[1], reverse=True) return sorted_votes[0][0] def choose_best_splitting_feature(data_set): num_features = len(data_set[0]) - 1 base_entropy = calculate_shannon_entropy(data_set) best_info_gain = 0.0 best_feature = -1 for i in range(num_features): info_gain = base_entropy - conditional_entropy(data_set, i) if info_gain > best_info_gain: best_info_gain = info_gain best_feature = i return best_feature def calculate_shannon_entropy(data_set): num_entries = len(data_set) label_count = {} for feat_vec in data_set: current_label = feat_vec[-1] label_count[current_label] = label_count.get(current_label, 0) + 1 shannon_ent = 0.0 for key in label_count: prob = float(label_count[key]) / num_entries shannon_ent -= prob * math.log(prob, 2) return shannon_ent def conditional_entropy(data_set, feature_idx): entropy_sum = 0.0 values = set(example[feature_idx] for example in data_set) for value in values: subset = split_data_set(data_set, feature_idx, value) probability = len(subset) / float(len(data_set)) entropy_sum += probability * calculate_shannon_entropy(subset) return entropy_sum ``` 此代码片段实现了基本的决策树生成流程，并可通过调整参数适应不同的应用场景[^4]。 --- #### 四、其他补充资源 除了以上具体章节外，《机器学习》西瓜书中还涵盖了大量经典算法及其变体。读者可以根据实际需求深入研究每种技术背后的原理及其实现细节。例如，在第八章中会介绍聚类分析；第九章则聚焦强化学习等内容[^3]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

易霭珞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值