sklearn
Marina-ju
虽恼太迟,又庆幸终于找到了喜欢的事
展开
-
sklearn数据分析概览
一 分析算法的选择二 流程train_x,train_y,test_x,test_y = getData()model = somemodel()model.fit(train_x,train_y)predictions = model.predict(test_x)score = score_function(test_y,predictions)...原创 2020-04-27 08:18:14 · 579 阅读 · 0 评论 -
高维多数据聚类(sklearn.cluster.affinityPropagation)和降维(manifold.LocallyLinearEmbedding)
一 、聚类cluster.affinityPropagation适合高维、多数据快速聚类不需要指定最终聚类族的个数对数据的初始值不敏感对初始相似度矩阵数据的对称性没有要求和k-centers聚类方法相比,其结果的平方差误差较小原理:在开始时,将所有节点都看成是聚类中心,通过在样本对之间发消息知道收敛来创建聚类。然后使用少量实例样本作为聚类中心来描述数据集,聚类中心时数据集种最能代...转载 2020-04-25 14:57:19 · 3234 阅读 · 0 评论 -
稀疏逆协方差矩阵估计(GraphicalLassonCV)
1.本方法适用于相关性不大的特征(对象)的相关行分析,同时,样本数量要比特征数量少。2.如果相关性比较大的话则适合用shrinkage covariance(缩放相关性分析)以下为sklearn官方解释:协方差矩阵的逆矩阵(精度矩阵)与偏相关矩阵正比例,即它能给出数据之间的部分关系。也就是说,如果在一定条件下,两个特征彼此独立,则它们的协方差矩阵的对应系数将为零。所以,通过从数据中学习...原创 2020-04-24 21:00:22 · 4962 阅读 · 0 评论 -
R2的含义
含义是Y值的波动中有多少可以通过X值的波动来衡量原创 2019-03-13 14:07:46 · 8830 阅读 · 0 评论 -
cross_val_score中的scoring参数
参考文章:https://scikit-learn.org/stable/modules/model_evaluation.html#scoring-parameter默认为None其他选项如下:1.accuracy:返回的值是正确率,等同于下面的方式。from sklearn.metrics import accuracy_scorey_pred=[0,2,1,3]...原创 2019-02-14 12:11:08 · 3594 阅读 · 0 评论 -
OneHotEncoder的理解
编码的对象是数组,编码逻辑是将行认为是sample,列认为是feature。将每列出现的值按一定的规律排列(比如大小),加入fit的数据又N列,encoder后的categories便会有N个。对于需要transform的数组来说,第一列中的值在categories的相应位置存在的,则为1,不存在,则为0 。以此类推,第N列中的值在第N个categories中存在就为1,不存在就为0。将所有 ...原创 2019-02-16 18:16:43 · 5080 阅读 · 0 评论 -
confusion_matrix
y_true=[0,0,0,1,1,1,1,1]y_pred=[0,1,1,0,0,1,1,1]confusion_matrix(y_true,y_pred)array([[1, 2],[2, 3]])函数结果的理解如下:pred &true中包含的数字有0,1两个,则:00位置上的数表示的是实际上是0,预测值为0的个数,在本例中为1;01位置上的数表示实际上是...原创 2019-02-05 22:03:28 · 1150 阅读 · 0 评论 -
从tushare中提取股票交易数据并进行聚类分析
import numpy as npimport pandas as pdimport tushare as tsimport MySQLdb as mdbimport matplotlibmatplotlib.use(“TkAgg”)import matplotlib.pyplot as pltfrom matplotlib.collections import LineColle...原创 2019-01-22 08:20:27 · 7798 阅读 · 2 评论 -
locallineembedding(LLE)应用示例
===================================Swiss Roll reduction with LLEAn illustration of Swiss Roll reductionwith locally linear embedding“”"Author: Fabian Pedregosa – fabian.pedregosa@inria.frLicense...转载 2019-01-16 11:37:20 · 633 阅读 · 0 评论 -
manifold.LocallyLinearEmbedding(LLE降维)
n_neighbors:搜索样本的近邻的个数,越大,降纬后的局部数据越好n_components:降维到的维数reg :正则化系数,在n_neighbors大于n_components时,即近邻数大于降维的维数时,由于我们的样本权重矩阵不是满秩的,LLE通过正则化来解决这个问题。默认是0.001。一般不用管这个参数。当近邻数远远的大于降维到的维数时可以考虑适当增大这个参数eigen_solv...转载 2019-01-17 18:37:30 · 2526 阅读 · 0 评论