【小白学机器学习】向量化操作

向量化操作是为了提高计算机处理数据的速度
刚开始看不是很熟悉机器学习中一些角标的表示,自己尝试使用纸笔梳理了一下
在这里插入图片描述
在这里插入图片描述

特征工程是指在机器学习中,通过对原始数据进行转换、选择、提取和创造特征,从而帮助算法更好地理解数据和实现更好的性能。小白习Spark的机器学习中的特征工程有以下几个方面的内容。 首先,特征选择是特征工程的重要一环。在特征选择中,我们通过方法如相关性分析、方差分析或者特征重要性评估等方法,选择对目标结果有较强相关性的特征集合。Spark提供了丰富的特征选择工具,如ChiSqSelector和VectorIndexer等,可以方便地进行特征选择。 其次,特征提取是另一个重要的特征工程步骤。特征提取是将原始数据转化为特征向量的过程,可应用于文本、图像和音频等数据。Spark提供了一系列特征提取器,如Word2Vec、CountVectorizer和TF-IDF等,用于从文本数据中提取特征。 此外,特征转换也是特征工程的关键步骤之一。特征转换的目的是对原始特征进行转换,使其更好地符合机器学习算法的需求。在Spark中,可以使用特征转换器,如MinMaxScaler、StandardScaler和OneHotEncoder等,对特征进行缩放、标准化和编码等操作。 还有一些其他的特征工程技术也适用于Spark的机器学习。比如,特征构建可以通过组合、拆分、合并原始特征,创造出新的特征来丰富数据表达能力。此外, 缺失值处理、离散化和降维等也属于特征工程的一部分。 总之,特征工程在Spark的机器学习中起着重要的作用,能够提高模型的准确性和性能。小白习Spark的机器学习过程中应该充分了解和掌握特征工程的各个方面,以便能够在实际应用中灵活运用,提升机器学习的效果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值