【ML--07】机器学习知识点及其算法实现sklearn

最新推荐文章于 2024-09-22 11:42:19 发布
置顶 最新推荐文章于 2024-09-22 11:42:19 发布
阅读量728 收藏 1
点赞数 1
分类专栏： 数据科学--机器学习 文章标签： 算法 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013421629/article/details/76451668
版权

以下10种算法是现在最流行的机器学习算法（含python代码），几乎可以解决绝大部分的问题。

1.线性回归 Linear Regression

线性回归是利用连续性变量来估计实际数值（例如房价，呼叫次数和总销售额等）。我们通过线性回归算法找出自变量和因变量间的最佳线性关系，图形上可以确定一条最佳直线。这条最佳直线就是回归线。这个回归关系可以用Y=aX+b 表示。

Python 代码：

#Import Library

#Import other necessary libraries like pandas, numpy...

from sklearn import linear_model

#Load Train and Test datasets

#Identify feature and response variable(s) and values must be numeric and numpy arrays

x_train=input_variables_values_training_datasets

y_train=target_variables_values_training_datasets

x_test=input_variables_values_test_datasets

# Create linear regression object

linear = linear_model.LinearRegression()

# Train the model using the training sets and check score

linear.fit(x_train, y_train)

linear.score(x_train, y_train)

#Equation coefficient and Intercept

print('Coefficient: \n', linear.coef_)

print('Intercept: \n', linear.intercept_)

#Predict Output

predicted= linear.predict(x_test)

2.逻辑回归 Logistic Regression

逻辑回归其实是一个分类算法而不是回归算法。通常是利用已知的自变量来预测一个离散型因变量的值（像二进制值0/1，是/否，真/假）。简单来说，它就是通过拟合一个逻辑函数来预测一个事件发生的概率。所以它预测的是一个概率值，它的输出值应该在0到1之间。

Python 代码：

#Import Library

from sklearn.linear_model import LogisticRegression

#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

# Create logistic regression object

model = LogisticRegression()

# Train the model using the training sets and check score

model.fit(X, y)

model.score(X, y)

#Equation coefficient and Intercept

print('Coefficient: \n', model.coef_)

print('Intercept: \n', model.intercept_)

#Predict Output

predicted= model.predict(x_test)

3.决策树 Decision Tree

既可以运用于类别变量（categorical variables）也可以作用于连续变量。这个算法可以让我们把一个总体分为两个或多个群组。分组根据能够区分总体的最重要的特征变量/自变量进行。

Python 代码：

#Import Library

#Import other necessary libraries like pandas, numpy...

from sklearn import tree

#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

# Create tree object

model = tree.DecisionTreeClassifier(criterion='gini') # for classification, here you can change the algorithm as gini or entropy (information gain) by default it is gini

# model = tree.DecisionTreeRegressor() for regression

# Train the model using the training sets and check score

model.fit(X, y)

model.score(X, y)

#Predict Output

predicted= model.predict(x_test)

4.支持向量机 SVM

给定一组训练样本，每个标记为属于两类，一个SVM训练算法建立了一个模型，分配新的实例为一类或其他类，使其成为非概率二元线性分类。一个SVM模型的例子，如在空间中的点，映射，使得所述不同的类别的例子是由一个明显的差距是尽可能宽划分的表示。新的实施例则映射到相同的空间中，并预测基于它们落在所述间隙侧上属于一个类别。

Python 代码：

#Import Library

from sklearn import svm

#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

# Create SVM classification object

model = svm.svc() # there is various option associated with it, this is simple for classification. You can refer link, for mo# re detail.

# Train the model using the training sets and check score

model.fit(X, y)

model.score(X, y)

#Predict Output

predicted= model.predict(x_test)

5.朴素贝叶斯 Naive Bayes

朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。

Python 代码：

#Import Library

from sklearn.naive_bayes import GaussianNB

#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

# Create SVM classification object model = GaussianNB() # there is other distribution for multinomial classes like Bernoulli Naive Bayes, Refer link

# Train the model using the training sets and check score

model.fit(X, y)

#Predict Output

predicted= model.predict(x_test)

6.K邻近算法 KNN

这个算法既可以解决分类问题，也可以用于回归问题，但工业上用于分类的情况更多。 KNN先记录所有已知数据，再利用一个距离函数，找出已知数据中距离未知事件最近的K组数据，最后按照这K组数据里最常见的类别预测该事件。

Python 代码：

#Import Library

from sklearn.neighbors import KNeighborsClassifier

#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

# Create KNeighbors classifier object model

KNeighborsClassifier(n_neighbors=6) # default value for n_neighbors is 5

# Train the model using the training sets and check score

model.fit(X, y)

#Predict Output

predicted= model.predict(x_test)

7.K-均值算法 K-means

首先从n个数据对象任意选择 k 个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度（距离），分别将它们分配给与其最相似的（聚类中心所代表的）聚类；然 后再计算每个所获新聚类的聚类中心（该聚类中所有对象的均值）；不断重复这一过程直到标准测度函数开始收敛为止。

Python 代码：

#Import Library

from sklearn.cluster import KMeans

#Assumed you have, X (attributes) for training data set and x_test(attributes) of test_dataset

# Create KNeighbors classifier object model

k_means = KMeans(n_clusters=3, random_state=0)

# Train the model using the training sets and check score

model.fit(X)

#Predict Output

predicted= model.predict(x_test)

8.随机森林 Random Forest

随机森林是对决策树集合的特有名称。随机森林里我们有多个决策树（所以叫“森林”）。为了给一个新的观察值分类，根据它的特征，每一个决策树都会给出一个分类。随机森林算法选出投票最多的分类作为分类结果。

Python 代码：

#Import Library

from sklearn.ensemble import RandomForestClassifier

#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

# Create Random Forest object

model= RandomForestClassifier()

# Train the model using the training sets and check score

model.fit(X, y)

#Predict Output

predicted= model.predict(x_test)

9.降维算法 Dimensionality Reduction Algorithms

我们手上的数据有非常多的特征。虽然这听起来有利于建立更强大精准的模型，但它们有时候反倒也是建模中的一大难题。怎样才能从1000或2000个变量里找到最重要的变量呢？这种情况下降维算法及其他算法，如决策树，随机森林，PCA，因子分析，相关矩阵，和缺省值比例等，就能帮我们解决难题。

Python 代码：

#Import Library

from sklearn import decomposition

#Assumed you have training and test data set as train and test

# Create PCA obeject pca= decomposition.PCA(n_components=k) #default value of k =min(n_sample, n_features)

# For Factor analysis

#fa= decomposition.FactorAnalysis()

# Reduced the dimension of training dataset using PCA

train_reduced = pca.fit_transform(train)

#Reduced the dimension of test dataset

test_reduced = pca.transform(test)

10.Gradient Boost／Adaboost算法

GBM和AdaBoost都是在有大量数据时提高预测准确度的boosting算法。Boosting是一种集成学习方法。它通过有序结合多个较弱的分类器/估测器的估计结果来提高预测准确度。这些boosting算法在DataCastke 、Kaggle等数据科学竞赛中有出色发挥。

Python 代码：

#Import Library

from sklearn.ensemble import GradientBoostingClassifier

#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

# Create Gradient Boosting Classifier object

model= GradientBoostingClassifier(n_estimators=100, learning_rate=1.0, max_depth=1, random_state=0)

# Train the model using the training sets and check score

model.fit(X, y)

#Predict Output

predicted= model.predict(x_test)
东华果汁哥
关注
专栏目录
[Python从零到壹] 十三.机器学习之聚类算法四万字总结全网首发（K-Means、BIRCH、树状聚类、MeanShift）
杨秀璋的专栏
07-06 1万+
欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家，希望对您有所帮助，文章中不足之处也请海涵。Python系列整体框架包括基础语法10篇、网络爬虫30篇、可视化分析10篇、机器学习20篇、大数据分析20篇、图像识别30篇、人工智能40篇、Python安全20篇、其他技巧10篇。您的关注、点赞和转发就是对秀璋最大的支持，知识无价人有情，希望
[Python从零到壹] 十四.机器学习之分类算法五万字总结全网首发（决策树、KNN、SVM、分类对比实验）
热门推荐
杨秀璋的专栏
07-09 2万+
分类（Classification）属于有监督学习（Supervised Learning）中的一类，它是数据挖掘、机器学习和数据科学中一个重要的研究领域。分类模型类似于人类学习的方式，通过对历史数据或训练集的学习得到一个目标函数，再用该目标函数预测新数据集的未知属性。本章主要讲述分类算法基础概念，并结合决策树、KNN、SVM分类算法案例分析各类数据集，从而让读者学会使用Python分类算法分析自己的数据集，研究自己领域的知识，从而创造价值。 19.1 分类 19.1.1 分类模型 与前面讲述的聚类模型类似
机器学习算法总结1:统计学习方法概论
01-07
总结《统计学习方法》学习心得 统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。 统计学习的研究对象是数据(data)，统计学习关于数据的基本假设是同类数据具有一定的统计规律性，数据分为连续变量和离散变量。 统计学习三要素：模型(model)，策略(strategy)和算法(algorithm)。 1.模型 模型的假设空间包含所有可能的条件概率分布或决策函数； 2.策略 损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。 损失函数是f(X)和Y的非负实值函数，记作L(Y,f(X))。 常用损失函
sklearn学习知识点
Graceguanguan的博客
02-24 274
import matplotlib.pyplot as plt from sklearn.datasets import load_digits digits = load_digits() plt.matshow(digits.images[0]) plt.show() 使用matplotlib显示矩阵使用pyplot下...
机器学习常见算法
weixin_39012047的博客
08-21 1万+
1. 线性回归 线性回归可能是统计学和机器学习中最知名和最易理解的算法之一。 由于预测建模主要关注最小化模型的误差，或者以可解释性为代价来做出最准确的预测。 我们会从许多不同领域借用、重用和盗用算法，其中涉及一些统计学知识。 线性回归用一个等式表示，通过找到输入变量的特定权重（B），来描述输入变量（x）与输出变量（y）之间的线性关系。   Linear Regression 举例：...
机器学习算法概论
weixin_30367543的博客
02-27 76
笔记：机器学习算法概论 1.建模与问题解决流程（1）数据处理（2）特征工程（3）模型选择（4）寻找最佳参数：交叉验证（5）模型分析与模型融合 2.机器学习工业应用领域（1）经济相关：股市+房价（2）能源相关：产能预测+分配与合理利用（3）NLP相关：检索+分类+相似度（4）互联网用户行为：CTR预测[点击通过率]（5）推荐系统相关：电商推荐 3.机器学习常用算法（1）无监督式学习：在未加标签...
大数据 机器学习 算法概论
张晨光老师的播客
04-12 691
视频解析 https://edu.csdn.net/course/play/7813算法概述 算法是计算机科学领域最重要的基石之一，计算机语言和开发平台日新月异，但万变不离其宗的是那些算法和理论，数据结构和算法是软件开发必备的核心基础，是内功心法。下面举例拿推荐算法和分类算法的实际场景做下举例：推荐算法的应用场景,各种app（偏资讯）的应用外的手机推荐：上面可以看出有米饭资讯，优酷视频，抖音短视...
azureml-pretrained-sklearn:AzureML sklearn 预训练模型使用的代码和模型
06-06
在“azureml-pretrained-sklearn”项目中，你将找到以下关键知识点： 1. **模型版本控制**：AzureML支持模型版本控制，这意味着你可以保存和管理不同版本的预训练模型，便于回溯和比较不同模型的性能。 2. **环境...
Advanced-ML-techniques:此仓库包含高级ML技术的实现。 包括模型合奏，对成本敏感的学习以及解决班级失衡的问题
05-13
在本项目中，我们主要探讨的是“Advanced-ML-techniques”，它涵盖了多个高级机器学习（ML）领域的实践实现。这些技术对于提升模型性能、处理特定问题和优化预测任务至关重要。下面将详细介绍其中的关键知识点： 1....
ML_KNN算法实现.rar
05-25
`sklearn` 是Python中强大的机器学习库，提供了KNN算法的现成实现。使用`sklearn.neighbors.KNeighborsClassifier`，可以轻松地构建和训练KNN模型。主要包括`fit`方法用于训练，`predict`方法用于预测，以及`...
《算法概论》.xmind
06-11
算法
机器学习初学者必须知道的十大算法
xiangz_csdn的博客
12-06 2131
本文作者通过自身的学习向初学者介绍十大机器学习（ML）算法，并附有数字和实例以便于理解。
机器学习sklearn 以及流程方法
erinapple的博客
05-13 5905
http://python.jobbole.com/86910/在机器学习和数据挖掘的应用中，scikit-learn是一个功能强大的python包。在数据量不是过大的情况下，可以解决大部分问题。学习使用scikit-learn的过程中，我自己也在补充着机器学习和数据挖掘的知识。这里根据自己学习sklearn的经验，我做一个总结的笔记。另外，我也想把这篇笔记一直更新下去。1 scikit-lear...
【机器学习】组合算法 Bootstraping, Bagging, Boosting, AdaBoost, RandomForest, Gradient boosting
CWS_chen
05-16 1946
组合模型 Bootstraping 名字来自成语“pull up by your own bootstraps”，意思就是依靠你自己的资源，称为自助法，它是一种有放回的抽样方法，它是非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法。其核心思想和基本步骤如下： 采用重抽样技术从原始样本中抽取一定数量（自定义）的样本，此过程允许重复抽样。 根据抽出的样本计算给定的统计量T。 重复...
机器学习算法-监督/无监督
Mikon_0703
03-28 1768
机器学习的主要任务： 分类：将实例数据划分到某一类别 回归：根据现有的数据特征预测数值型的数据 如何选择合适的算法 （1）确定算法的类型：监督[—预测目标变量的值—] / 无监督 （2）若是监督算法，明确目标变量的类型，离散型 ——>分类；连续型——>回归 （3）若是无监督算法，使用聚类将数据划分为离散的组，使用密度估计算法估计数据与每个组的相似程度 （4）考虑数据：理解数据特征 ...
sklearn机器学习之【常见套路代码】
qq_42419985的博客
03-14 526
（精髓源自：B站 July-Online 实战视频）使用sklearn随机森林学习器 预测（填补）缺失值：这个很有用，对于手头上没有相关领域知识时挺管用，收藏！ from sklearn.ensemble import RandomForestRegressor #随机森林回归； ### 例如 使用 RandomForest 填补缺失的年龄属性 def set_missing_ages(d...
用sklearn简单实现KNN和KMeans
qq_35190319的博客
04-13 1220
数据集：使用sklearn自带的iris数据集，该数据集包含某种花类的观察数据，包括四个特征，花有三类。 ①导入要用到的包： from sklearn import datasets from sklearn.neighbors import KNeighborsClassifier from sklearn.cluster import KMeans ②导入数据集： iris = d...
atcoder abc372 启发式合并， dp
最新发布
2201_75845839的博客
09-22 193
现在考虑如何存数据。可以用并查集合并两个集合，并且在合并的时候一定要将小的集合合并到大的集合中去，因为小集合合并到大集合中，最后的集合一定大于小集合元素数量的两倍，因此合并的时间复杂度不会超过logn。思路：判断当前变化的位置对结果是否会产生影响，在询问前先计算有多少ABC, 每次变换位置x前后扫描一下[x - 2, x + 2]范围内是否有ABC，变换前有让cnt --， 变换后有让cnt ++思路：三进制转换，可以参考二进制，先把当前可以加入的最大的3的幂次加入,这样一定可以凑出答案。
k-means聚类算法机器学习sklearn
06-07
sklearn是一个常用的Python机器学习库，其中包括了k-means算法的实现。 在使用sklearn进行k-means聚类时，需要指定聚类数k和聚类方法。其中，聚类方法可以是标准k-means、mini-batch k-means或者谱聚类等方法。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东华果汁哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值