![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习案例
炼丹师666
要学神仙,驾鹤飞天,点石成金,妙不可言!
展开
-
keras-文本序列_文本向量化_分词(二)(使用预训练的词嵌入)
Keras-文本序列_文本向量化(二)(使用预训练的词嵌入)参考:https://blog.csdn.net/qq_30614345/article/details/98714874在这里插入代码片原创 2020-02-05 16:37:09 · 1013 阅读 · 0 评论 -
keras-文本序列_文本向量化(二)(利用 Embedding 层学习词嵌入)
Keras-文本序列_文本向量化(二)(使用词嵌入&词向量)参考:https://blog.csdn.net/qq_30614345/article/details/98714874原创 2020-02-05 12:29:34 · 722 阅读 · 0 评论 -
keras_猫狗分类案例(三)_卷机神经网络的可视化(可视化类激活的热力图)
卷机神经网络的可视化(可视化类激活的热力图)参考:https://www.cnblogs.com/zhhfan/p/9978099.html可视化类激活的热力图我还要介绍另一种可视化方法,它有助于了解一张图像的哪一部分让卷积神经网络做出了最终的分类决策。这有助于对卷积神经网络的决策过程进行调试,特别是出现分类错误的情况下。这种方法还可以定位图像中的特定目标。这种通用的技术叫作类激活图(C...原创 2020-02-04 17:15:08 · 1363 阅读 · 0 评论 -
keras_猫狗分类案例(三)_卷机神经网络的可视化(可视化卷积神经网络的过滤器)
可视化卷积神经网络的过滤器参考:https://cloud.tencent.com/developer/article/1502652 想要观察卷积神经网络学到的过滤器,另一种简单的方法是显示每个过滤器所响应的视觉模式。这可以通过在**输入空间中进行梯度上升**来实现:从空白输入图像开始,将梯度下降应用于卷积神经网络输入图像的值,其目的是让某个过滤器的**响应最大化**。得到的输入图像是选定...原创 2020-02-03 21:14:43 · 575 阅读 · 0 评论 -
keras_猫狗分类案例(三)_卷机神经网络的可视化(可视化卷积神经网络的中间输出)
keras_猫狗分类案例(三)_卷积神经网络的可视化参考:https://blog.csdn.net/Einstellung/article/details/82832872卷积神经网络的可视化参考:1、可视化卷积神经网络的中间输出(中间激活):有助于理解卷积神经网络连续的层如何对输入进行变换,也有助于初步了解卷积神经网络每个过滤器的含义。代码清单 5-25 预处理单张图像代码清单...原创 2020-02-03 16:42:25 · 1515 阅读 · 0 评论 -
keras_卷积神经网络_猫狗分类案例(二)
keras_卷积神经网络_猫狗分类案例(二)参考:https://blog.csdn.net/xiewenrui1996/article/details/104032476/**5.3 使用预训练的卷积神经网络5.3.1 特征提取代码清单 5-16 将 VGG16 卷积基实例化不使用数据增强的快速特征提取代码清单 5-17 使用预训练的卷积基提取特征代码清单 5-18 定义并训练密...原创 2020-02-02 22:01:42 · 778 阅读 · 0 评论 -
keras_卷积神经网络_猫狗分类案例(一)
参考:https://blog.csdn.net/fioletfly/article/details/101345549代码清单 5-2 在卷积神经网络上添加分类器代码清单 5-3 在 MNIST 图像上训练卷积神经网络代码清单 5-4 将图像复制到训练、验证和测试的目录代码清单 5-5 将猫狗分类的小型卷积神经网络实例化代码清单 5-6 配置模型用于训练5.2.4 数据预处理代码...原创 2020-02-02 17:47:39 · 1697 阅读 · 0 评论 -
keras_实例化一个小型的卷积神经网络
keras_深度学习用于计算机视觉参考:https://blog.csdn.net/xiewenrui1996/article/details/104009618本章将介绍卷积神经网络,也叫 convnet,它是计算机视觉应用几乎都在使用的一种深度学习模型。你将学到将卷积神经网络应用于图像分类问题,特别是那些训练数据集较小的问题。如果你工作的地方并非大型科技公司,这也将是你最常见的使用场景...原创 2020-02-02 16:02:53 · 670 阅读 · 0 评论 -
sparkml_实战全流程_LogisticRegression(三)
上面使用的使用K-Fold来进行超参调优,K-Fold交叉验证往往非常耗时,使用1-Fold的交叉验证(即将数据集按比例分为训练集合验证集)能大大缩短时间参考:https://www.jianshu.com/p/20456b512fa7# 上面使用的使用K-Fold来进行超参调优,K-Fold交叉验证往往非常耗时,# 使用1-Fold的交叉验证(即将数据集按比例分为训练集合验证集)能大大缩...原创 2020-01-12 17:50:26 · 357 阅读 · 0 评论 -
sparkml_实战全流程_LogisticRegression(二)
交叉验证网格搜索import pyspark.ml.tuning as tune# 超参调优:grid search和train-validation splitting # 网格搜索import pyspark.ml.tuning as tunelogistic = cl.LogisticRegression(labelCol='INFANT_ALIVE_AT_REPORT...原创 2020-01-12 17:43:15 · 359 阅读 · 0 评论 -
sparkml_实战全流程_LogisticRegression(一)
sparkml_实战全流程_LogisticRegression2.1 加载数据创建转换器、评估器birth place使用one-hot编码创建一个评估器VectorAssembler接受以下输入列类型:所有数值类型、布尔类型和向量类型2.3 创建一个管道、拟合模型拟合模型 randomSplit划分测试集 训练集2.4 评估模型2.5 保存模型 保存管道载入模型...原创 2020-01-12 17:26:07 · 587 阅读 · 0 评论 -
将线性模型用于 多分类问题_svm
将线性模型用于 多分类问题优点、 缺点和参数线性模型的主要参数是正则化参数,在回归模型中叫作 alpha,在 LinearSVC 和 LogisticRegression 中叫作 C。 alpha 值较大或 C 值较小,说明模型比较简单。特别是对于回归模型而言,调节这些参数非常重要。通常在对数尺度上对 C 和 alpha 进行搜索。还需要确定用的是 L1 正则化还是 L2 正则化。如果...原创 2020-01-02 16:27:27 · 828 阅读 · 0 评论 -
逻辑斯特回归和SVM 对比
逻辑斯特回归和SVM 对比对于 LogisticRegression 和 LinearSVC,决定正则化强度的权衡参数叫作C。 C 值越 # 大,对应的正则化越弱。换句话说,如果参数 C 值较大,那么 LogisticRegression 和 # LinearSVC 将尽可能将训练集拟合到最好,而如果 C 值较小,那么模型更强调使系数向量 # (w)接近于 0。from sklearn.l...原创 2020-01-01 21:48:52 · 313 阅读 · 0 评论 -
python_岭回归_线性模型_L2 正则化(1)
python_岭回归_线性模型_L2 正则化岭回归也是一种用于回归的线性模型,因此它的预测公式与普通最小二乘法相同。但在岭 # 回归中,对系数(w)的选择不仅要在训练数据上得到好的预测结果,而且还要拟合附加 # 约束。我们还希望系数尽量小。换句话说,w 的所有元素都应接近于 0。直观上来看,这 # 意味着每个特征对输出的影响应尽可能小(即斜率很小),同时仍给出很好的预测结果。这种约束是所谓...原创 2020-01-01 17:33:31 · 755 阅读 · 0 评论 -
将数据预处理加入模型选择过程
将数据预处理加入模型选择过程# 将数据预处理加入模型选择过程import numpy as npfrom sklearn import datasetsfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import GridSearchCVfrom sklearn.pipeli...原创 2019-12-26 17:38:09 · 418 阅读 · 0 评论 -
从多种学习算法中选择最佳算法模型
从多种学习算法中选择最佳算法模型#12.3 Selecting Best Models from Multiple Learning Algorithms# 从多种学习算法中选择最佳模型import numpy as npfrom sklearn import datasetsfrom sklearn.linear_model import LogisticRegressionfrom...原创 2019-12-26 17:12:51 · 532 阅读 · 0 评论 -
使用随机搜索选择最佳参数&网格搜索
使用随机搜索选择最佳参数&网格搜索# 라이브러리를 임포트합니다.from scipy.stats import uniformfrom sklearn import linear_model, datasetsfrom sklearn.model_selection import RandomizedSearchCV# 데이터를 로드합니다.iris = datasets....原创 2019-12-25 22:35:34 · 896 阅读 · 0 评论 -
使用穷举法选择最佳参数模型&网格搜索
使用穷举法选择最佳参数模型&网格搜索# 网格搜索,使用穷举法选择最佳参数模型import numpy as npfrom sklearn import linear_model, datasetsfrom sklearn.model_selection import GridSearchCV# load datairis = datasets.load_iris()feat...原创 2019-12-25 22:15:47 · 1105 阅读 · 0 评论 -
# 使用袋外误差评估随机森林模型
在不使用交叉验证的情况下使用袋外误差评估随机森林模型# 使用袋外误差评估随机森林模型 使用袋外样本from sklearn.ensemble import RandomForestClassifierfrom sklearn import datasetsiris = datasets.load_iris()features = iris.datatarget = iris.ta...原创 2019-12-25 15:55:48 · 4378 阅读 · 1 评论 -
adaboost方式进行训练
算法 原理:训练一系列弱模型,每轮训练前为前一轮预测错的样本分配更大的权重参数示例base_estimator:基分类器,默认是决策树,在该分类器基础上进行boosting,理论上可以是任意一个分类器,但是如果是其他分类器时需要指明样本权重。n_estimators:基分类器提升(循环)次数,默认是50次,这个值过大,模型容易过拟合;值过小,模型容易欠拟合。learning_rate:学习...原创 2019-12-25 15:50:57 · 295 阅读 · 0 评论 -
控制决策树的深度
控制决策树的深度min_samples_split=2,叶子节点需要的最下样本数min_samples_leaf=1,min_weight_fraction_leaf=0,最大叶子节点数max_leaf_nodes=None,执行分裂所需最小不纯度减少量min_impurity_decrease=0)# 控制决策树的规模 树的深度from sklearn.tree impor...原创 2019-12-25 15:42:43 · 3892 阅读 · 0 评论 -
随机森林_处理不均衡数据
随机森林_处理不均衡数据balanced 加上balanced 参数# 处理不均衡的数据from sklearn.ensemble import RandomForestClassifierfrom sklearn import datasetsfrom sklearn.feature_selection import SelectFromModeliris = datasets....原创 2019-12-22 22:19:10 · 5482 阅读 · 0 评论 -
通过阈值筛选随机森林的重要特征
通过阈值筛选随机森林的重要特征14.7 Selecting Important Features in Random Forests# 筛选重要特征from sklearn.ensemble import RandomForestClassifierfrom sklearn import datasetsfrom sklearn.feature_selection import Sele...原创 2019-12-22 17:03:52 · 3625 阅读 · 1 评论 -
可视化随机森林的特征重要性
可视化随机森林的特征重要性# 查看随机森林的特征重要性import numpy as npimport matplotlib.pyplot as pltfrom sklearn.ensemble import RandomForestClassifierfrom sklearn import datasetsiris = datasets.load_iris()features ...原创 2019-12-22 16:54:28 · 8828 阅读 · 3 评论 -
训练随机森林回归模型 RandomForestRegressor
训练随机森林回归模型 RandomForestRegressorbootstrap 表示是够有放回抽样,还是不放回抽样# 训练随机森林回归模型 RandomForestRegressorfrom sklearn.ensemble import RandomForestRegressorfrom sklearn import datasetsboston = datasets.load...原创 2019-12-21 11:53:41 · 4566 阅读 · 1 评论 -
训练随机森林分类器
训练随机森林分类器随机森林,,每棵树 接收的样本是 随机的,有放回随机抽样,每个节点分裂时特征随机 # 参数方面,可以设置 每个节点的特征数,有放回抽样还是无放回抽样# 训练随机森林分类器from sklearn.ensemble import RandomForestClassifierfrom sklearn import datasetsiris = datasets.loa...原创 2019-12-21 11:36:59 · 1118 阅读 · 0 评论 -
可视化决策树模型
可视化决策树模型# 可视化决策树模型import pydotplusfrom sklearn.tree import DecisionTreeClassifierfrom sklearn import datasetsfrom IPython.display import Imagefrom sklearn import treeiris = datasets.load_iri...原创 2019-12-21 11:02:03 · 715 阅读 · 0 评论 -
训练决策树回归模型
训练决策树回归模型默认使用均方误差 mse# 训练决策树回归模型 默认使用均方误差 msefrom sklearn.tree import DecisionTreeRegressorfrom sklearn import datasetsboston = datasets.load_boston()features = boston.data[:,0:2]target...原创 2019-12-21 10:41:50 · 1104 阅读 · 0 评论 -
训练决策树分类器
训练决策树分类器# 训练决策树分类器from sklearn.tree import DecisionTreeClassifierfrom sklearn import datasets#加载数据iris = datasets.load_iris()features = iris.datatarget = iris.targetprint(target)# 创建决策树分类器...原创 2019-12-21 10:35:47 · 549 阅读 · 0 评论 -
使用层次聚类算法
使用层次聚类算法# 使用层次聚类算法from sklearn import datasetsfrom sklearn.preprocessing import StandardScalerfrom sklearn.cluster import AgglomerativeClustering# 加载数据iris = datasets.load_iris()features = ir...原创 2019-12-19 16:55:36 · 171 阅读 · 0 评论 -
使用DBSCAN 来进行聚类运算
使用DBSCAN 来进行聚类运算DBSCAN(Density-Based Spatial Clustering of Applications with Noise,具有噪声的基于密度的聚类方法)是一种基于密度的空间聚类算法。 该算法将具有足够密度的区域划分为簇,并在具有噪声的空间数据库中发现任意形状的簇,它将簇定义为密度相连的点的最大集合。from sklearn import datase...原创 2019-12-19 16:31:23 · 638 阅读 · 0 评论 -
使用Meanshift进行聚类运算
使用Meanshift进行聚类运算 参数没有K值,通过设置移动步长 来不断迭代# 使用Meanshift进行聚类运算 参数没有K值,通过设置移动步长 来不断迭代from sklearn import datasetsfrom sklearn.preprocessing import StandardScalerfrom sklearn.cluster import MeanShift...原创 2019-12-19 15:49:30 · 422 阅读 · 0 评论 -
使用MiniBatchKMeans加速kmenas聚类算法的计算
使用MiniBatchKMeans加速kmenas聚类算法的计算MiniBatchKMeans batch_size控制每个批次中样本的数量# 加速keans算法的计算from sklearn import datasetsfrom sklearn.preprocessing import StandardScalerfrom sklearn.cluster import MiniB...原创 2019-12-19 15:45:31 · 479 阅读 · 0 评论 -
使用kmeans聚类算法进行预测
使用kmeans聚类算法进行预测如何寻找K值, 可以通过轮廓系数 来筛选判断比较# 라이브러리를 임포트합니다.from sklearn import datasetsfrom sklearn.preprocessing import StandardScalerfrom sklearn.cluster import KMeans# 加载数据iris = datasets.lo...原创 2019-12-19 15:39:07 · 8673 阅读 · 0 评论 -
逻辑回归_处理不均衡的数据
逻辑回归_处理不均衡的数据class_weight=“balanced” 参数 根军样本出现的评论自动给 样本设置 权重# 处理不均衡的数据import numpy as npfrom sklearn.linear_model import LogisticRegressionfrom sklearn import datasetsfrom sklearn.preprocessin...原创 2019-12-19 14:41:43 · 2170 阅读 · 0 评论 -
逻辑回归_训练二元分类器
逻辑回归_训练二元分类器# 训练一个二元分类器from sklearn.linear_model import LogisticRegressionfrom sklearn import datasetsfrom sklearn.preprocessing import StandardScaleriris = datasets.load_iris()features = iris....原创 2019-12-19 14:17:57 · 473 阅读 · 0 评论 -
knn分类器寻找最佳K值
knn分类器寻找最佳K值网格搜索pipe管道# 寻找最佳的K值from sklearn.neighbors import KNeighborsClassifierfrom sklearn import datasetsfrom sklearn.preprocessing import StandardScalerfrom sklearn.pipeline import Pipel...原创 2019-12-19 11:28:49 · 1667 阅读 · 0 评论 -
使用knn创建一个分类器
使用knn创建一个分类器# 数据集不是特别大的情况, 用KNeighborsClassifier 分类器from sklearn.neighbors import KNeighborsClassifierfrom sklearn.preprocessing import StandardScalerfrom sklearn import datasets# 加载数据iris = d...原创 2019-12-19 10:45:44 · 492 阅读 · 0 评论 -
模型实例_逻辑回归
模型实例_逻辑回归关于泰坦尼克号乘客的⽣还率利用Python进行数据分析(第二版).pdfIntroduction to scikit-learn¶# 举个例⼦,我⽤⼀个Kaggle竞赛的经典数据集,关于泰坦尼克号# 乘客的⽣还率。我们⽤pandas加载测试和训练数据集:# 13.4 scikit-learn介绍# scikit-learn是⼀个⼴泛使⽤、⽤途多样的Python机器...原创 2019-12-09 15:23:09 · 331 阅读 · 0 评论 -
机器学习_鸢尾花分类_knn
机器学习:第一个应用: 鸢尾花分类Meet the datairis_dataset# 1.7.1 初识数据# 本例中我们用到了鸢尾花(Iris)数据集,这是机器学习和统计学中一个经典的数据集。它# 包含在 scikit-learn 的 datasets 模块中。我们可以调用 load_iris 函数来加载数据:from sklearn.datasets import load_iri...原创 2019-12-05 14:28:57 · 1412 阅读 · 0 评论