- 博客(242)
- 收藏
- 关注
RSS订阅原创 Spark MLlib模型训练—回归算法 Isotonic Regression
单调回归是一个强大且灵活的工具，尤其适用于处理存在单调关系的数据集。在 Spark 中，Isotonic Regression 提供了对大规模数据进行高效单调回归分析的能力。通过合理的参数设置和数据预处理，单调回归能够在价格预测、风险评估和健康管理等领域提供有价值的预测结果。掌握单调回归的原理并熟悉其应用技巧，对于解决涉及单调关系的实际问题至关重要。
2024-09-06 17:11:52
1023
原创 Spark MLlib模型训练—回归算法 Survival Regression
生存回归是一种强大的工具，特别适用于时间到事件数据的建模和预测。在 Spark 中，AFT 生存回归模型提供了对大规模生存数据进行高效分析的能力。通过合理的参数调整和模型选择，生存回归能够在医学研究、工程可靠性分析和金融风险管理等领域提供有价值的预测结果。理解生存回归的原理并掌握其应用技巧，对于解决复杂的时间到事件问题至关重要。
2024-09-06 17:10:53
1091
原创 大模型web服务部署—lobe-chat 部署
lobe-chat 的强大之处在于提供了视觉，语音对话，图像识别的功能，而且有手机端、网页端、电脑端使用起来很方便，生态完善。
2024-09-01 08:59:34
107
原创 Spark MLlib模型训练—回归算法 Gradient-boosted tree regression
Gradient-Boosted Tree 回归是一种强大的机器学习算法，凭借其强大的建模能力和对复杂非线性关系的处理能力，广泛应用于金融预测、风险管理、市场营销等领域。在 Spark 中，GBT 回归被广泛应用于大规模数据分析任务，凭借其强大的并行处理能力和灵活的参数调优方法，成为了数据科学家和工程师的常用工具。通过合理的参数调整和特征选择，GBT 回归能够在许多实际场景中提供准确且稳健的预测结果。
2024-09-01 08:38:16
1291
原创 Spark MLlib模型训练—回归算法 Random forest regression
随机森林回归作为一种强大的集成学习方法，在回归任务中表现出色。通过结合多个决策树的预测结果，随机森林不仅提升了模型的预测精度，还在一定程度上减轻了单棵决策树易于过拟合的缺陷。在 Spark 中，随机森林回归被广泛应用于各种大规模数据分析任务，凭借其强大的并行处理能力和灵活的参数调优方法，成为了数据科学家和工程师的常用工具。通过合理的参数调整和特征选择，随机森林回归能够在许多实际场景中提供准确且稳健的预测结果。
2024-09-01 08:37:34
869
原创 Spark MLlib模型训练—回归算法 Decision tree regression
决策树回归作为一种强大且直观的回归模型，在数据分析和预测任务中得到了广泛应用。通过本文的深入解析，读者可以了解决策树回归的原理、在 Spark 中的实现方法、以及如何对模型进行评估和调优。尽管决策树回归有其局限性，但在适当的数据场景下，它能够提供非常有价值的预测结果。通过合理的参数调节和模型选择，决策树回归可以在许多实际应用中发挥重要作用。
2024-08-29 15:25:24
1105
原创 Spark MLlib模型训练—回归算法 GLR( Generalized Linear Regression)
广义线性回归作为线性回归的扩展，在处理不同分布类型的目标变量时具有极大的灵活性。Spark 提供了强大的分布式计算能力，使得广义线性回归可以在大规模数据集上高效训练和应用。本文从原理、代码实现、参数调优等多个角度，详细介绍了 Spark 中广义线性回归的使用方法，希望为读者提供实用的指导。通过合理的模型选择和调优，广义线性回归能够在各种复杂数据场景中提供准确的预测与分析。
2024-08-29 15:24:37
1025
原创 Spark MLlib模型训练—回归算法 Linear regression
线性回归作为一种经典的回归方法，虽然简单但在实际应用中依旧表现出强大的效果。借助 Spark 的分布式计算框架，我们可以在大规模数据集上高效地进行线性回归建模。在本文中，我们详细介绍了线性回归的原理、参数、模型实现与调优，并结合 ScalaSpark 线性回归的优化策略特征标准化：在线性回归中，标准化特征有助于提升模型收敛速度，避免特征值差异过大引起的计算问题。特征选择：在高维数据集中，选择相关性高的特征可以提高模型的预测准确性。交叉验证。
2024-08-27 21:15:17
1071
原创 Spark MLlib模型训练—分类算法Factorization machines classifier
Spark 的 Factorization Machines 分类器在处理高维稀疏数据时非常高效，尤其在推荐系统、广告点击率预测等场景中具有优势。通过本文的详细解析和代码示例，读者可以理解 FM 的核心原理，并能在实际项目中灵活应用。此外，虽然 FM 仅能捕捉二阶特征交互，但其计算效率和可扩展性使其在大规模数据场景中具有广泛的应用前景。
2024-08-27 20:34:35
884
原创 Spark MLlib模型训练—分类算法One-vs-Rest classifier
Spark 的 One-vs-Rest 分类器为多分类任务提供了一个简洁且实用的解决方案，特别是在需要将二分类器扩展到多分类问题时。尽管 One-vs-Rest 存在一些缺点，如类别不平衡和较长的训练时间，但其简单的实现和良好的可扩展性使其在许多实际应用中广受欢迎。通过适当的参数调优和对类别不平衡的处理，One-vs-Rest 可以在多分类任务中表现出色，为解决复杂的分类问题提供了强有力的工具。对于 Spark 中的 One-vs-Rest 实现，还有一些高级用法和优化策略。模型调优。
2024-08-26 16:12:19
716
原创 Spark MLlib模型训练—分类算法Naive Bayes
Spark 的 Naive Bayes 分类器为多分类任务提供了一个简洁高效的解决方案，尤其在文本分类和推荐系统中表现突出。尽管特征独立性的假设限制了其在某些复杂任务中的表现，但通过适当的数据预处理和模型调优，Naive Bayes 在实际应用中依然是一个强有力的工具。在大规模数据集上，利用 Spark 的分布式计算能力，Naive Bayes 分类器可以在保证效率的同时提供可靠的分类结果。
2024-08-26 16:11:31
852
原创 Spark MLlib模型训练—分类算法Linear Support Vector Machine
Spark 的 Linear Support Vector Machine 是一种简洁而强大的二分类算法，适用于线性可分的数据。通过最大化分类间隔，它在高维数据中具有较好的表现，尤其适用于文本分类等高维稀疏数据场景。然而，由于它的线性假设，线性 SVM 无法处理复杂的非线性数据。结合 Spark 的分布式计算能力，线性 SVM 为大数据中的二分类任务提供了一种高效的解决方案，但在实际应用中仍需考虑其局限性，如多分类任务的扩展和非线性问题的解决。
2024-08-22 09:07:45
657
原创 Spark MLlib模型训练—分类算法Multilayer Perceptron Classifier
Spark 中的 Multilayer Perceptron Classifier 提供了一种灵活的非线性分类方法。通过配置网络结构和优化训练参数，MLP 可以处理复杂的分类任务。然而，由于 MLP 需要大量计算和调优，它在大数据场景中可能面临计算资源和时间的挑战。对于需要在复杂数据上进行高精度分类的任务，MLP 是一种强有力的工具，特别是在结合了分布式计算能力的 Spark 环境下。
2024-08-22 09:07:04
549
原创 Spark MLlib模型训练—分类算法Gradient-boosted tree classifier
GBT 分类器是 Spark MLlib 中功能强大且灵活的分类算法。它通过逐步优化决策树，能在分类任务中取得优秀的表现。尽管其计算开销较大，GBT 仍然在金融风控、市场预测、文本分类等领域中得到了广泛应用结合分布式计算框架，Spark 的 GBT 分类器为大规模数据处理提供了高效的解决方案。对于未来的发展，随着硬件计算能力的提升和算法优化，GBT 将在更多复杂场景下得到更广泛的应用，并且与其他集成学习方法（如 XGBoost 和 LightGBM）形成互补关系，进一步提升数据分析的精准度和效率。
2024-08-21 15:24:40
1117
原创 Spark MLlib模型训练—分类算法Random forest classifier
随机森林分类器是 Spark MLlib 中常用且高效的集成模型。它通过结合多棵决策树的预测结果，显著提升了模型的稳定性和准确性。在实际应用中，随机森林常用于文本分类、图像识别、金融风控等领域。分类代表算法组合方式适用场景优点缺点Bagging随机森林（Random Forest）、Bagged Decision Trees并行组合高方差模型（如决策树）- 减少过拟合- 模型稳定性高- 支持并行化训练- 对偏差大的基学习器提升有限Boosting序列组合。
2024-08-21 10:48:25
1002
原创 Spark MLlib模型训练—分类算法 Decision tree classifier
决策树分类器是一种基础且强大的机器学习模型，在 Spark MLlib 中的实现具备处理大规模数据的能力。它以直观、可解释性强、易。
2024-08-20 11:16:22
371
原创 Spark MLlib模型训练—分类算法Multinomial Logistic Regression
多项逻辑回归（Multinomial Logistic Regression）是对二项逻辑回归（Binary Logistic Regression）的扩展，适用于多分类问题。当目标变量不再是二分类（如 0 或 1），而是多于两个类别（如 A, B, C），多项逻辑回归便成为了适用的选择。与二项逻辑回归类似，多项逻辑回归基于线性模型，但其核心区别在于输出类别不再局限于两个，而是扩展至多个。，模型预测的标签为 0，对应的概率为 0.876，表明该样本属于类别 0 的可能性最大。使得训练数据的似然最大。
2024-08-20 10:54:32
439
原创 Doris数据集成 Apache Iceberg
Apache Iceberg 是一种开源、高性能、高可靠的数据湖表格式，可实现超大规模数据的分析与管理。它支持 Apache Doris 在内的多种主流查询引擎，兼容 HDFS 以及各种对象云存储，具备 ACID、Schema 演进、高级过滤、隐藏分区和分区布局演进等特性，可确保高性能查询以及数据的可靠性及一致性，其时间旅行和版本回滚功能也为数据管理带来较高的灵活性。未来 ，Apache Iceberg 将作为 Apache Doris 的原生表引擎之一，提供更加完善的湖格式数据的分析、管理功能。
2024-08-19 21:36:47
162
原创 Spark MLlib模型训练—分类算法Binomial Logistic Regression
本文通过 Spark 和 Scala 详细介绍了二项逻辑回归的原理和实现流程。二项逻辑回归作为一种经典的分类算法，在数据线性可分且标签为二分类的任务中表现出色。通过合理调整参数，可以在不同场景中应用二项逻辑回归模型，从而获得良好的分类效果。希望通过这篇文章，你对 Spark 中的二项逻辑回归有了全面的理解。如果你对其他分类算法感兴趣，欢迎继续交流学习！
2024-08-19 21:34:03
1128
原创 Spark MLlib 特征工程系列—特征提取LSH(MinHash)
MinHash 的核心思想是将集合映射为较小的哈希签名（MinHash 签名），并确保两个集合的 MinHash 签名相似度能够近似反映它们的 Jaccard 相似度。JAB∣A∩B∣∣A∪B∣JAB∣A∪B∣∣A∩B∣对于大型集合，直接计算交集和并集的大小非常耗时，因此 MinHash 被提出以近似估计 Jaccard 相似度。MinHash 的核心思想是通过多个随机哈希函数对集合进行哈希，将每个集合映射为一组最小哈希值（MinHash 签名）。
2024-08-18 09:58:08
279
原创 Spark MLlib 特征工程系列—特征提取LSH(BucketedRandomProjectionLSH)
是 Spark 中 Locality Sensitive Hashing (LSH) 的一种实现，专门用于基于欧几里得距离的近似最近邻搜索。它通过随机投影将高维数据映射到低维空间，并利用哈希桶对数据进行分组，确保相似的数据点在哈希空间中的距离更近，从而实现快速的相似度搜索。在大数据环境中，直接计算每个数据点与其他所有点的距离代价极高，而能够有效降低计算复杂度，是处理大规模高维数据的常用工具。是 Spark 中处理高维数据相似度搜索的有效工具。
2024-08-18 09:40:17
408
原创 Spark MLlib 特征工程系列—特征选择VarianceThresholdSelector
是一个简单且高效的特征选择工具，特别适用于过滤掉方差较小、信息量低的特征。在数据降维、去除噪声等场景中，方差筛选是一种常见的预处理步骤。尽管它相对简单，但在高维数据集的初步处理阶段，可以显著减少特征数量，从而加快模型的训练和预测速度。
2024-08-17 15:17:42
585
原创 Spark MLlib 特征工程系列—特征选择UnivariateFeatureSelector
是 Spark 中一个强大的特征选择工具，能够根据单变量统计方法选择最相关的特征。它支持多种评分标准和选择模式，适用于分类和回归任务。通过灵活配置，用户可以根据具体需求选择最合适的特征，从而提高模型的性能和效率。在高维数据处理中，合理的特征选择能够显著减少计算成本，并提高模型的准确性。无论是在大数据环境下进行特征工程，还是在小规模数据集中筛选重要特征，都提供了一种高效且灵活的解决方案。的参数选项灵活且强大，允许用户根据特征数据和标签的类型，以及特定的选择需求，进行精确的配置。通过调整labelType。
2024-08-16 22:00:08
405
原创 Spark MLlib 特征工程系列—特征选择ChiSqSelector
是一个基于卡方检验的特征选择器，特别适用于分类任务。它通过评估每个特征与目标变量之间的独立性，选择出最相关的特征，从而减少数据维度、提高模型的训练效率。的实现简单而高效，适用于大规模分类问题的特征选择。
2024-08-16 21:23:43
339
原创 Spark MLlib 特征工程系列—特征选择VectorSlicer
是一个强大的特征选择工具，它通过从高维特征向量中提取特定的子集特征，简化了数据处理过程并提高了模型训练的效率。它适用于各种数据预处理任务，特别是在处理高维数据和需要选择特定特征时。通过提供简单而高效的特征选择功能，能够帮助数据科学家和工程师更好地管理和利用他们的数据，提升机器学习模型的性能。
2024-08-16 16:49:18
394
原创 Spark MLlib 特征工程系列—特征选择VectorSlicer
是一个强大的特征选择工具，它通过从高维特征向量中提取特定的子集特征，简化了数据处理过程并提高了模型训练的效率。它适用于各种数据预处理任务，特别是在处理高维数据和需要选择特定特征时。通过提供简单而高效的特征选择功能，能够帮助数据科学家和工程师更好地管理和利用他们的数据，提升机器学习模型的性能。
2024-08-16 16:43:43
426
原创 Spark MLlib 特征工程系列—特征转换Imputer
Imputer是 Spark 中用于处理缺失数据的工具。在机器学习数据预处理中，缺失值是常见的问题。Imputer可以填充数值型数据中的缺失值，通过使用指定的策略（如均值、中位数）替换缺失值，从而提高数据质量并确保模型训练时不受缺失数据的影响。Imputer是 Spark 中处理数值型缺失值的工具，通过设置输入输出列和填充策略，可以方便地处理数据中的缺失问题。根据数据的分布特征选择合适的填充策略，可以提高模型的稳定性和预测能力。在实际应用中，Imputer。
2024-08-16 10:30:34
652
原创 Spark MLlib 特征工程系列—特征转换QuantileDiscretizer
是 Spark 提供的一个特征转换器，用于将连续数值型特征离散化为多个区间。与Bucketizer不同，基于分位数（Quantiles）来划分数据，使得每个区间内的数据点数大致相等。这种方法在对数据进行分箱（Binning）时非常有效，特别是当数据的分布不均匀时。是一种基于分位数的离散化工具，特别适合数据分布不均衡的场景。通过设置区间数量，可以灵活调整离散化后的特征，使得每个区间内的数据点数接近一致。在实际应用中，常用于信用评分、市场分析等需要特征离散化的领域。掌握。
2024-08-16 10:21:17
270
原创 Spark MLlib 特征工程系列—特征转换VectorSizeHint
是 Spark 中用于指定向量大小的工具，适用于数据处理和特征转换过程中需要明确向量维度的场景。通过显式指定向量大小，可以确保模型训练、转换和部署的稳定性，尤其是在向量大小不确定或数据质量不一致的情况下。在实际项目中，可以将与其他转换器配合使用，形成更健壮的数据处理流程。掌握的使用，可以帮助你在构建复杂的机器学习管道时，提升模型的稳定性和一致性。
2024-08-16 10:07:57
291
原创 Spark MLlib 特征工程系列—特征转换RFormula
RFormula是 Spark MLlib 中的一个特征转换器，它允许用户使用类似 R 语言的公式来选择特征并构建数据模型。在机器学习任务中，我们常常需要将数据集中的多个列组合成一个特征向量，同时还要处理类别型数据。RFormula的优势在于，它能自动处理类别特征的编码并进行数值特征的组合，非常适合构建简单的机器学习模型。RFormula 是 Spark 中一种简单有效的特征转换工具，适合基于线性模型的场景。
2024-08-16 09:38:36
588
原创 Spark MLlib 特征工程系列—特征转换ElementwiseProduct
的核心思想是将输入向量中的每个元素与预定义的权重向量（scaling vector）逐元素相乘，生成一个新的向量。输入向量v为v1v2vnv 为 ( [v_1, v_2, \dots, v_n] )v为([v1v2vn])。权重向量w为w1w2wnw 为 ( [w_1, w_2, \dots, w_n] )w为([w1w2wn])。
2024-08-16 09:04:56
757
原创 Spark MLlib 特征工程系列—特征转换二值化器Binarizer
Binarizer如果特征值大于或等于阈值，则输出 1。如果特征值小于阈值，则输出 0。y1如果x≥threshold0如果xthreshold1, & \text{如果 } x \geq \text{threshold} \\0, & \text{如果 } x < \text{threshold}y10如果x≥threshold如果xthresholdxxx是输入特征值。threshold是用户定义的阈值。Binarizer。
2024-08-15 15:37:55
1019
原创 Spark MLlib 特征工程系列—特征转换Bucketizer
Bucketizer可以根据指定的边界将连续变量分桶（分区间），将其转化为离散变量。每个区间代表一个特定的“桶”，原始数据将根据落入哪个区间而被标记为相应的桶标签。Bucketizer通过指定一组分割点（splits）来定义区间（桶）。原始数据根据这些分割点进行划分，然后映射到对应的桶标签。splits 的第一个元素是区间的最小值（可以是负无穷大），最后一个元素是区间的最大值（可以是正无穷大）。splits 数组中的元素必须按升序排列。
2024-08-15 15:29:13
865
原创 Spark MLlib 特征工程系列—特征转换MaxAbsScaler
是一种线性缩放工具，它将每个特征值除以其在该列中的最大绝对值，使得数据被缩放到 [-1, 1] 之间。这种方法适用于稀疏数据集（如文本数据、图像数据等），因为它不会改变数据的稀疏性。xscaledx∣xmax∣xscaled∣xmax∣xxxx是原始特征值。xmaxxmax是该特征列中最大绝对值。是一种基于最大绝对值的缩放方法，将数据缩放到 [-1, 1] 范围内。
2024-08-15 14:50:08
792
原创 Spark MLlib 特征工程系列—特征转换MinMaxScaler
通过线性变换将特征值缩放到指定范围。它的主要目的是确保所有特征在相同的范围内，从而消除特征间因量级差异导致的影响。xscaledx−xminxmax−xmin×rmax−rminrminxscaledxmax−xminx−xmin×rmax−rminrminxxx是原始特征值。xminxmin和xmaxxmax分别是特征在数据集中的最小值和最大值。rminrmin。
2024-08-15 14:37:47
966
原创 Spark MLlib 特征工程系列—特征转换RobustScaler
是一种基于数据的中位数和四分位数（interquartile range, IQR）进行缩放的工具。与基于均值和标准差的不同，更加适用于数据中存在离群值的情况，因为它不依赖于均值和标准差，而是基于数据的中位数和四分位差进行缩放。xscaledx−medianIQRxscaledIQRx−medianmedianmedian是数据的中位数。
2024-08-15 11:20:20
698
原创 Spark MLlib 特征工程系列—特征转换StandardScaler
在机器学习任务中，特征的尺度不一致可能会导致模型表现不佳。特征值的量级差异会影响距离度量、梯度下降的收敛速度，甚至使模型无法收敛。通过将特征向量进行标准化处理，确保所有特征值在同一尺度范围内，从而解决这一问题。xscaledx−μσxscaledσx−μxxx是原始特征值。μ\muμ是特征的均值。σ\sigmaσ是特征的标准差。该公式的作用是使得所有特征经过标准化后具有零均值和单位标准差，即均值为 0，标准差为 1。这种标准化后的数据分布称为标准正态分布。
2024-08-15 11:09:51
1001
原创 Spark MLlib 特征工程系列—特征转换Normalizer
Normalizer是一种基于范数的归一化工具，通过将输入向量除以其范数，使得向量满足特定的范数要求（如 L1、L2、L∞）。归一化能够消除特征值量级差异的影响，确保模型在处理不同特征时更加平衡和稳定。Spark 的Normalizer是一种高效的大规模数据预处理方法，适用于需要特征标准化的各种场景，尤其在基于距离度量的算法中效果显著。这种特征工程方法在处理高维数据和需要标准化的数据集时，能够显著提升模型的表现力和稳定性，为后续建模打下良好的基础。
2024-08-15 10:50:14
686
原创 Spark MLlib 特征工程系列—特征转换Interaction
是 Spark MLlib 中的一种特征工程工具，用于生成输入特征之间的交互特征。交互特征是两个或多个原始特征的组合，通常表示这些特征之间的关系。通过生成交互特征，模型可以更好地捕捉输入特征之间的相互作用，从而提升模型的表现力和准确性。是一种特征工程方法，通过生成输入特征之间的组合或交互，丰富了模型的输入信息，使得模型能够捕捉到特征之间的复杂关系。在很多实际应用中，特征之间的交互作用可能对目标变量有着显著影响，通过生成这些交互特征，模型能够更好地描述和预测复杂的模式。
2024-08-15 09:16:02
847
原创 Spark MLlib 特征工程系列—特征转换DCT(Discrete Cosine Transform)
离散余弦变换（Discrete Cosine Transform，DCT）是一种用于信号处理和图像压缩的重要工具。它将信号或数据从时域或空域转换到频域，使数据表示为不同频率的余弦函数的加权和。DCT 在许多应用中使用，如 JPEG 图像压缩和音频信号处理，因为它能有效地将大部分信号能量集中在低频成分，从而减少冗余信息。在机器学习中，DCT 可用于特征提取，帮助将数据表示为频域特征，进而用于分类、聚类等任务。在信号处理和数据分析中，时域空域和频域是描述数据的不同视角。时域。
2024-08-14 21:09:59
486
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人