釵燒包-CSDN博客

原创【Predictive algorithms 预测算法深入理解】3.1.0线性回归

一、定义和原理线性回归是一种利用数理统计中回归分析的方法，用于确定两种或两种以上变量间相互依赖的定量关系。它基于一个假设：自变量（或称为特征、解释变量）和因变量（或称为目标变量、响应变量）之间存在线性关系。线性回归试图找到一个最佳的直线（在多维空间中为超平面）来拟合数据点。二、表达形式线性回归的表达形式通常为：y = w'x + e，其中y是因变量，x是自变量（特征），w'是权重（系数）向量，e是误差项，服从均值为0的正态分布。

2024-06-12 14:58:57 749

原创【Predictive algorithms 预测算法】- 12 马尔可夫模型

隐马尔可夫模型是一种用于建模时序数据的统计模型，其中系统的状态是不可观测的（隐藏的），而观测数据是可见的。马尔可夫模型可以分为几种不同类型，其中最常见的是一阶马尔可夫模型（First Order Markov Model）和隐马尔可夫模型（Hidden Markov Model，HMM）。马尔可夫模型（Markov Model）是一种用来描述随机过程的数学模型，其中假设当前状态只与前一个状态有关，与更早的状态无关。在一阶马尔可夫模型中，系统的状态空间是有限的，并且转移概率只与前一个状态有关。

2024-05-16 16:49:11 266

原创【Predictive algorithms 预测算法】- 11 梯度提升树

梯度提升树（Gradient Boosting Tree）是一种集成学习算法，通过串行训练多个决策树来提高预测性能。梯度提升树通过不断迭代，每次迭代都训练一个新的决策树来纠正前面所有树的预测误差，从而逐步提升整体模型的性能。梯度提升树在实际应用中广泛用于回归和分类问题，如预测股票价格、客户流失率、点击率等。常见的梯度提升树算法包括XGBoost、LightGBM和CatBoost。

2024-05-16 16:47:01 315

原创【Predictive algorithms 预测算法】- 10 贝叶斯分类器

在分类时，它根据特征的取值计算后验概率，并选择概率最大的类别作为分类结果。贝叶斯分类器可以处理连续特征和离散特征，对于连续特征可以使用概率分布模型进行建模，比如高斯分布模型。然而，贝叶斯分类器的性能受到特征独立性假设的限制，当特征之间存在相关性时，可能导致分类结果不准确。贝叶斯分类器的基本思想是假设特征之间是相互独立的，并且每个特征对于分类的贡献是相等的。根据这个假设，贝叶斯分类器可以计算在给定特征条件下，样本属于每个类别的概率，并选择概率最大的类别作为分类结果。

2024-05-16 16:45:08 366

原创【Predictive algorithms 预测算法】- 9 神极网络

具体来说，每个神经元会接受输入信号，并根据输入信号和自身的权重进行加权求和，然后通过激活函数产生输出信号。在训练过程中，神经网络通过反向传播算法不断调整神经元之间的权重，以最小化预测值与实际值之间的误差。在自然语言处理领域，神经网络可以理解人类的自然语言，并执行相应的操作。例如，在医疗领域，神经网络可以帮助医生进行疾病诊断和治疗方案的制定；同时，也需要不断研究和改进神经网络的算法和模型，以应对更复杂和多变的问题。这些节点按照不同的连接方式形成不同的网络结构，例如前馈神经网络、反馈神经网络和卷积神经网络等。

2024-05-16 16:44:21 162

原创【Predictive algorithms 预测算法】- 8 K近邻算法

K近邻算法（K-Nearest Neighbors，简称KNN）是一种用于分类和回归的非参数算法。在KNN算法中，要预测一个未知样本的类别或值，首先找到与该样本最接近的K个训练样本，然后根据这K个样本的类别或值来进行预测。KNN算法的基本思想是“近朱者赤，近墨者黑”，即认为距离较近的样本在特征空间中具有相似的类别或值。KNN算法的优点是简单易懂、易于实现，适用于多分类和回归问题；需要注意的是，KNN算法对数据的标准化和归一化很敏感，因此在使用前需要对数据进行预处理。

2024-05-16 16:43:04 348

原创【Predictive algorithms 预测算法】- 7 支持向量机

SVM的基本思想是将数据集映射到高维特征空间中，使得不同类别的样本尽可能地被一个超平面分割开。超平面被选择为能够最大化样本间的间隔，即使得不同类别样本距离超平面的最小距离最大化。对于线性可分的问题，SVM可以直接找到一个超平面将不同类别的样本完全分开；对于线性不可分的问题，SVM引入了核函数来进行非线性映射，将数据映射到高维空间中进行分类。然而，SVM的缺点是对大规模数据集和噪声敏感，同时对于多类别的问题需要进行扩展。此外，SVM还可以通过引入软间隔和惩罚项来处理部分重叠的样本和噪声。

2024-05-16 16:38:48 292

原创【Predictive algorithms 预测算法】- 6 随机森林

随机森林（Random Forest，简称RF）是一种集成学习方法，它通过构建多棵决策树来对样本进行训练并预测。这种方法的基本思想是利用多棵决策树的预测结果来提高整体预测的准确性和稳定性。随机森林的名称来源于其构建过程中的两个随机性：一是随机选择训练样本，二是随机选择特征子集。随机森林在金融风险评估、医疗诊断、股票市场分析、生物信息学等多个领域都有广泛的应用。然而，随机森林也存在一些缺点，如模型可能相对较大，需要更多的计算资源来训练和预测，以及模型的解释性不如单棵决策树。

2024-05-16 16:37:52 358

原创【Predictive algorithms 预测算法】- 5 决策树

决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。决策树（Decision Tree）是一种在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法。这些算法基于不同的标准来选择最佳的划分属性，从而构建出准确的决策树模型。

2024-05-16 16:35:50 156

原创【Predictive algorithms 预测算法】- 4 逻辑回归

在用户行为分析中，逻辑回归可以根据用户的浏览记录、购买记录等数据，预测用户的购买意愿，从而为用户提供个性化的推荐和服务。同时，逻辑回归还可以用于商品推荐，通过分析用户的购买记录、评价等因素，推荐符合用户喜好的商品，提高用户的购物体验和满意度。此外，逻辑回归还可以用于药物疗效评估，通过分析患者的基因型、药物剂量等因素，预测药物的疗效，从而帮助医生制定个性化的治疗方案。需要注意的是，虽然逻辑回归算法具有广泛的应用前景，但在实际应用中需要注意数据的质量和数量，以及模型的选择和优化，才能取得更好的效果。

2024-04-12 16:46:57 241

原创【Predictive algorithms 预测算法】- 3 线性回归

线性回归是一种利用数理统计中的回归分析来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。医学研究：在医学研究中，线性回归可用于分析药物剂量与治疗效果、生活方式与健康指标之间的关系。例如，通过分析历史数据中的自变量（如利率、通货膨胀率等），可以建立一个线性回归模型来预测未来的股票价格。总的来说，线性回归是一种强大的统计工具，可帮助我们理解和预测变量之间的关系，为决策提供支持。X = np.array([[1], [2], [3], [4], [5]]) # 特征数据。# 使用数据训练模型。

2024-04-09 18:22:08 291

原创【Predictive algorithms 预测算法】- 2 基础知识

LSTM的基础结构中，每个重复模块都增加了三个神经网络层，并通过引入门控机制来控制信息的遗忘和刷新。这些门通过门控单元来控制信息的流动，其中阀门开闭程度利用门控值向量表示，激活函数将门控值压缩到0~1之间，为0时表示阀门关闭，为1时表示阀门完全开启。它主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题，使得模型能够在更长的序列中有更好的表现。因此，LSTM在处理具有长期依赖关系的序列数据时表现出色，如自然语言处理、语音识别、时间序列预测等领域都有广泛的应用。

2024-03-17 11:28:13 296

原创【Predictive algorithms 预测算法】- ①.主旨与概念

预测算法的目标是通过已知的信息和数据，对未来的情况进行预测。这些算法可以应用于各种领域，例如金融、销售、市场营销、天气预报、股票市场、医疗诊断等。常见的预测算法包括线性回归、逻辑回归、决策树、随机森林、支持向量机、K近邻算法、神经网络等。这些算法在建立模型时，使用不同的数学和统计技术来拟合数据，并根据模型来进行预测。它通过分析历史数据、特征和模式来建立一个模型，并使用该模型来预测未知数据或未来事件的结果。预测算法的选择取决于问题的性质、可用数据的类型和数量、算法的适用性以及预测的准确性要求。

2024-03-11 13:54:44 366

qq_41553063的博客