![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 89
尤而小屋
这个作者很懒,什么都没留下…
展开
-
机器学习扩展包MLXtend绘制多种图形
使用自定义的类别名:二分类默认是0-1;多分类默认是0,1,2,3…conf_mat=multiclass_array, # 多分类矩阵class_names=names, # 使用自定义的类别名colorbar=True, # 颜色柱show_absolute=False, # 不显示绝对值show_normed=True # 是否标准化plt.show()cmap="GnBu_r", # 颜色柱fontcolor_threshold=1 # 字体颜色阈值设置plt.show()原创 2024-06-07 14:54:57 · 665 阅读 · 0 评论 -
机器学习扩展包MLXtend绘制分类模型决策边界
from mlxtend.data import iris_data # 内置数据集plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号# 导入和切分数据X = X[:,:2] # 选择前2个特征建模# 切分数据集# 绘制决策边界y,clf=svm,legend=2,X_highlight=X_test, # 高亮数据。原创 2024-06-07 14:54:06 · 776 阅读 · 0 评论 -
基于密度的聚类算法DBSCAN详解!
DBSCAN(Density-Based Spatial Clustering of Applications with Noise,基于密度的带有噪声的空间聚类应用)是一种基于密度的聚类算法。密度聚类算法一般假定类别是可以通过样本分布的紧密程度来决定。同一个类别中,样本之间是紧密相连的,也就说通过将紧密相连的样本划分为一类,这样就生成了一个聚类类别。关于DBSCAN到底是如何实现聚类的?一个关键点:DBSCAN是基于一组邻域来描述样本集的紧密程度,参数ϵMinPtsϵMinPt。原创 2024-06-03 17:20:08 · 2015 阅读 · 0 评论 -
强大的机器学习建模扩展包:mlxtend
公众号:尤而小屋编辑:Peter作者:Peter大家好,我是Peter~今天给大家介绍一个强大的机器学习建模扩展包:mlxtend。mlxtend(machine learning extensions,机器学习扩展)是一个用于日常数据分析、机器学习建模的有用Python库。mlxtend可以用作模型的可解释性,包括统计评估、数据模式、图像提取等。mlxtend是一个Python第三方库,用于支持机器学习和数据分析任务。原创 2024-06-03 17:17:50 · 309 阅读 · 0 评论 -
基于LightGBM的金融信贷数据建模
基于树模型LightGBM的金融信贷数据建模原创 2024-01-19 11:44:40 · 556 阅读 · 1 评论 -
机器学习:10种方法解决模型过拟合
L1 正则化,通常也被称为Lasso 正则化(Least Absolute Shrinkage and Selection Operator),是通过在损失函数中添加 L1 范数(参数绝对值之和)惩罚项,来约束模型的参数。L1 正则化的目标是使模型参数趋向于稀疏,即让一些参数为零,从而实现特征选择和减少模型复杂度的效果。原创 2023-09-15 23:49:50 · 3221 阅读 · 0 评论 -
机器学习10大必备算法
通过计算每个codebook向量与新数据实例之间的距离来找到最相似的邻居(最佳匹配),然后返回最佳匹配单元的类别值或在回归情况下的实际值作为预测。同时,只有这些离得近的数据点才和超平面的定义和分类器的构造有关,这些点被称为支持向量,他们支持或定义超平面。当然,你尝试的算法必须和你的问题相切合,其中的门道便是机器学习的主要任务。这类事件被称为维度诅咒。在机器学习领域,有种说法叫做“世上没有免费的午餐”,简而言之,它是指没有任何一种算法能在每个问题上都能有最好的效果,这个理论在监督学习方面体现得尤为重要。原创 2023-09-15 23:47:56 · 177 阅读 · 0 评论 -
一文讲透机器学习超参数调优!
机器学习超参数是在开始学习过程之前设置值的参数,而不是通过训练得到的参数数据。超参数是在模型训练之外设置的选项,不会在训练过程中被优化或更改。相反,需要在训练之前手动设置它们,并且对模型的性能有很大的影响。超参数优化库(Hyperparameter Optimization Library)是一种用于自动化超参数优化的软件库或工具。这些库使用不同的算法和技术,以实现自动化超参数搜索和优化过程。超参数优化库通常提供易于使用的接口,允许用户定义要优化的超参数和目标函数。原创 2023-09-11 21:56:19 · 1455 阅读 · 0 评论 -
机器学习算法竞赛实战:如何看到机器学习竞赛问题?
更新《机器学习算法竞赛实战》一书的阅读笔记,更多详细的内容请阅读原书。什么场景下需要处理样本不均衡问题?原创 2023-02-22 23:59:52 · 229 阅读 · 0 评论 -
基于机器学习的用户画像分析
用户画像分析原创 2023-01-29 17:09:15 · 862 阅读 · 0 评论 -
Python实现词云舞
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~本文是一个非常完整的Python实战项目,主要内容包含:在此感谢周杰伦的《本草纲目》、刘畊宏教练、百度平台以及参考大佬们的方法,本文仅做个人学习使用。视频下载神器:you-get you-get是一个下载视频的神器,安装之后一行代码即可下载视频you-get [url]you-get https://www.bilibili.com/video/BV1yY4y1i7Pw?t=1079.2&nb.原创 2022-04-27 14:30:25 · 917 阅读 · 0 评论 -
Pandas+Numpy+Sklearn随机取数
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~本文记录的是如何使用Python、pandas、numpy、scikit-learn来实现随机打乱、抽取和切割数据。主要的方法包含:sampleshufflenp.random.permutationtrain_test_split导入数据In [1]:import pandas as pdimport numpy as npimport random # 随机模块import plotly_ex.原创 2022-04-22 22:35:07 · 1054 阅读 · 0 评论 -
机器学习算法:关联规则分析
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~今天给大家分享一个经典的机器学习算法:关联规则分析,从理论到代码到实战,全部拉满。本文主要内容:文章过长,建议收藏经典案例关联分析是一种从大规模的数据集中寻找有趣关系的方法。一个经常被用到关联分析的例子:购物篮分析。通过查看哪些商品经常在一起被顾客购买,可以帮助商店去了解用户的购买行为。经典的啤酒和尿布的案例:某家超市的销售管理人员在分析销售订单时发现,啤酒与尿布这两件看起来毫不关联的商品竟然经常会出现在同.原创 2022-04-18 00:03:28 · 5503 阅读 · 3 评论 -
pandas索引的设置与修改
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~本文主要是介绍Pandas中行和列索引的4个函数操作:set_indexreset_indexset_axisrename创建索引快速回顾下Pandas创建索引的常见方法:pd.IndexIn [1]:import pandas as pdimport numpy as npIn [2]:# 指定类型和名称s1 = pd.Index([1,2,3,4,5,6,7], dt.原创 2022-04-17 00:09:48 · 22114 阅读 · 0 评论 -
深度学习实战:基于CNN的猫狗图像识别
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~本文记录了第一个基于卷积神经网络在图像识别领域的应用:猫狗图像识别。主要内容包含:数据处理神经网络模型搭建数据增强实现本文中使用的深度学习框架是Keras;图像数据来自kaggle官网:https://www.kaggle.com/c/dogs-vs-cats/data数据处理数据量数据集包含25000张图片,猫和狗各有12500张;创建每个类别1000个样本的训练集、500个样本的验证集和500个样本的.原创 2022-04-09 21:48:08 · 29986 阅读 · 16 评论 -
python机器学习3大宝典
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~今天给大家推荐3本Python机器学习相关的书籍,如果你想提升Python能力,想开启kaggle实战,想了解机器学习神器Scikit-Learn库的使用,建议下载学习~一、流畅的Python一本关于Python进阶的书籍,OREILLY系列的动物书-蜥蜴书,非常经典。整本书主要分为6个部分:序幕:Python数据模型数据结构:数组、字典、集合、文本和字节序列把函数视为对象:深入理解Python中的函数实现的设计模式.原创 2022-04-02 23:04:05 · 995 阅读 · 0 评论 -
快速认识Pandas的10大索引
快速认识Pandas的10大索引公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~今天给大家带来一篇关于Pandas的基本文章:10种你必须掌握的Pandas索引。索引在我们的日常生活中其实是很常见的,就像:一本书有自己的目录和具体的章节,当我们想找某个知识点,翻到对应的章节即可;也像图书馆中的书籍被分类成文史类、技术类、小说类等,再加上书籍的编号,很快就能够找到我们想要的书籍。外出吃饭点菜的菜单,从主食类、饮料/汤类、凉菜类等,到具体的菜名等上面不同的常用都可原创 2022-03-22 00:34:38 · 4365 阅读 · 0 评论 -
6种方式创建多层索引MultiIndex
49_6种方式创建多层索引MultiIndex公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~在上一篇文章中介绍了如何创建Pandas中的单层索引,今天给大家带来的是如何创建Pandas中的多层索引。pd.MultiIndex,即具有多个层次的索引。通过多层次索引,我们就可以操作整个索引组的数据。本文主要介绍在Pandas中创建多层索引的6种方式:pd.MultiIndex.from_arrays():多维数组作为参数,高维指定高层索引,低维指定低层索引。pd.Mu原创 2022-03-22 00:32:05 · 3600 阅读 · 1 评论 -
爬虫案例—深圳租房数据的回归分析
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~之前从网上爬取了一份深圳的租房数据,并且从统计分析和可视化的角度进行了分析。今天还是使用之前的数据进行数据分析和建模,以及模型的可解释性探索。本文的主要内容包含:导入库导入主要的库用于:数据处理、可视化、建模、特征可解释性等数据基本信息1、导入数据2、数据形状和字段类型下面是具体的特征解释:# 下面是特征属性name:小区名字layout:几室几厅几卫location:朝向size:建筑面积si.原创 2022-03-13 21:13:52 · 4576 阅读 · 0 评论 -
机器学习保姆级入门案例-波士顿房价预测
利用scikit-learn进行机器学习入门案例相信很多人都是知道波士顿房价的数据集,一个非常经典的机器学习入门案例数据集。在这个案例中直接使用sklearn中自带的数据集来进行数据分析和建模,主要内容包含:数据探索相关性分析变量研究线性回归模型探索模型改进导入库import numpy as np import pandas as pd import hvplot.pandasimport matplotlib.pyplot as plt%matplotlib inline原创 2022-03-13 21:12:34 · 14017 阅读 · 6 评论 -
Pandas+Seaborn+Plotly:联手探索苹果AppStore
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~今天给大家分享一篇kaggle实战的新文章:基于Seaborn+Plotly的AppleStore可视化探索,这是一篇完全基于统计+可视化的数据分析案例。原notebook只用了seaborn库,很多图形小编用plotly进行了实现,原文章地址:https://www.kaggle.com/adityapatil673/visual-analysis-of-apps-on-applestore/notebook导入库i.原创 2022-03-02 00:13:17 · 365 阅读 · 0 评论 -
机器学习Numpy库入门25例
导入numpyimport numpy as np打印numpy的版本和配置信息print(np.version)<module 'numpy.version' from '/Applications/downloads/anaconda/anaconda3/lib/python3.7/site-packages/numpy/version.py'>print(np.show_config)<function show at 0x1060cc560>查看函数帮原创 2022-01-30 16:26:14 · 1832 阅读 · 0 评论 -
深入理解Pandas数据排序
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~在之前的一篇文章中,详细介绍了关于如何使用pandas的内置函数sort_values来实现数据的排序。本文讲解的是如何使用自定义方式来实现排序:映射关系实现CategoricalDtype类型实现模拟数据先模拟一份简单的数据:import pandas as pdimport numpy as npdf = pd.DataFrame({ "nick":["aaa","bbb","aba","ab.原创 2022-01-06 22:44:22 · 904 阅读 · 0 评论 -
精选23个pandas常用函数
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~从26个字母中精选出23个Pandas常用的函数,将它们的使用方法介绍给大家。其中o、y、z没有相应的函数。import pandas as pdimport numpy as np下面介绍每个函数的使用方法,更多详细的内容请移步官网:https://pandas.pydata.org/docs/reference/general_functions.htmlassign函数df = pd.DataFrame({.原创 2021-12-26 16:07:28 · 1965 阅读 · 0 评论 -
pandas行列转换的4大技巧
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~本文介绍的是Pandas中4个行列转换的方法,包含:melt转置T或者transposewide_to_longexplode(爆炸函数)最后回答一个读者朋友问到的数据处理问题。Pandas行列转换pandas中有多种方法能够实现行列转换:导入库import pandas as pdimport numpy as np函数meltmelt的主要参数:pandas.melt(frame, .原创 2021-12-15 20:35:46 · 12909 阅读 · 0 评论 -
基于6种监督学习方法的毒蘑菇分类
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~本文是kaggle案例分享的第3篇,赛题的名称是:Mushroom Classification,Safe to eat or deadly poison?数据来自UCI:https://archive.ics.uci.edu/ml/datasets/mushroomkaggle源码地址:https://www.kaggle.com/nirajvermafcb/comparing-various-ml-models-roc-.原创 2021-12-14 17:46:48 · 1706 阅读 · 0 评论 -
基于6种监督学习(逻辑回归+决策树+随机森林+SVM+朴素贝叶斯+神经网络)的毒蘑菇分类
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~本文是kaggle案例分享的第3篇,赛题的名称是:Mushroom Classification,Safe to eat or deadly poison?数据来自UCI:https://archive.ics.uci.edu/ml/datasets/mushroomkaggle源码地址:https://www.kaggle.com/nirajvermafcb/comparing-various-ml-models-roc-.原创 2021-12-11 19:52:44 · 6211 阅读 · 12 评论 -
统计学知识:相关系数
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~这两周在看一本书《特征工程入门与实践》,对自己很有启发。特征工程是数据工作者建模过程中极其重要的一步,如何从众多的特征中找到或者选择与目标具有高强相关的特征显得尤为重要。本书中有提到相关系数,自己看了很多的资料,整理出这篇文章,希望对大家有所帮助。何为相关系数相关系数,也叫做关联系数(英语为:correlation coefficient),它是由统计学家卡尔.皮尔逊设计的一个统计指标,我们最常用的也是Person皮.原创 2021-11-11 00:10:47 · 15964 阅读 · 2 评论 -
基于python的多因子分析
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~最近看了很多的关于因子分析的资料,整理出这篇理论+实战文章分享给大家。后续会出一篇PCA主成分分析的文章,将主成分分析和因子分析两种降维的方法进行对比。因子分析作为多元统计分析里的降维方法之一,因子分析可以应用于多个场景,如调研、数据建模等场景之中。起源因子分析的起源是这样的:1904年英国的一个心理学家发现学生的英语、法语和古典语成绩非常有相关性,他认为这三门课程背后有一个共同的因素驱动,最后将这个因素定义为“语言.原创 2021-11-06 15:50:08 · 3212 阅读 · 4 评论 -
机器学习-聚类KMeans
图解K-Means算法本文中介绍的是一种常见的无监督学习算法,名字叫做K均值算法:K-Means算法。K-Means算法在无监督学习,尤其是聚类算法中是最为基础和重要的一个算法。它实现起来非常简单。聚类效果也很不错的,因此应用非常广泛。本文将会从以下8个方面进行详细的讲解:算法思想无监督学习在正式介绍K-Means算法之前,我们先解释一下无监督学习。用一句很通俗的话来解释:是否有监督(supervised),我们只需要看输入的数据是否有标签输入的数据如果带有标签,则是有监督学习,比如K原创 2021-10-19 09:20:41 · 279 阅读 · 0 评论 -
入门Pandas必须掌握的技巧
入门Pandas,必须掌握的技巧总结自己经常使用的pandas操作方法:创建DataFrame数据查看数据相关信息查看头尾文件花样取数切片取数常见函数使用导入包import pandas as pdimport numpy as np使用技巧1-创建DataFrame数据方式1:自己直接创建df1 = pd.DataFrame({ "name":["小明","小红","小孙","王小","关宇","刘蓓","张菲"], "age":[20,18,27,20原创 2021-10-19 09:19:46 · 658 阅读 · 0 评论 -
安利10个Jupyter notebook使用技巧
不可不知的Jupyter Notebook使用技巧如果你用Python做开发,那么首选Pycharm;但是如果你想用Python做数据分析、数据挖掘,以及火热的机器学习和人工智能项目,Jupyter Notebook注定是首选,因为Jupyter Notebook一直都是做数据科学的最佳利器。即使现在出来了Jupyter Lab,但也是基于Jupyter Notebook的基础上进行扩展的。本文将介绍Jupyter Notebook的多个使用技巧安装和启动Jupyter Notebook安装Ju原创 2021-10-19 09:18:11 · 1121 阅读 · 0 评论 -
机器学习-KNN算法
从KNN算法步入机器学习殿堂本文中介绍的机器学习算法中的一种监督学习的算法:KNN算法,全称是K-Nearest Neighbor,中文称之为K近邻算法。它是机器学习可以说是最简单的分类算法之一,同时也是最常用的分类算法之一。在接下来的内容中,将通过以下的几个方面的内容对该算法进行详细的讲解:算法思想思想首先对KNN算法的思想进行简单的描述:KNN算法是一个基本的分类和回归的算法,它是属于监督学习中分类方法的一种。其大致思想表述为:给定一个训练集合M和一个测试对象n,其中该对象是由一个属原创 2021-10-19 09:17:14 · 2720 阅读 · 0 评论 -
数据分析利器Jupyter notebook入门手册
公众号:尤而小屋作者:Peter编辑:Peter大家好,我是Peter~很多读者问过我,Peter文章中的Python代码都是用的什么编辑器写的?今天就公开啦:Jupyter Notebook,没有Pycharm,没有Vscode,没有Sublime text。只有Jupyter Notebook。从2019年至今,使用了两年半多的时间,今天就好好聊聊它~工欲善其事,必先利其器官网学习地址:https://jupyter.org/使用说明:https://jupyter-notebo.原创 2021-10-07 23:05:09 · 1092 阅读 · 0 评论 -
吴恩达机器学习-12-大规模机器学习和图片文字识别OCR
出品:尤而小屋作者:Peter编辑:Peter吴恩达机器学习-12-大规模机器学习和图片文字识别OCR本周是课程的最后一周,老师主要是介绍了两个方面的内容,一个是如何进行大规模的机器学习,另一个是关于图片文字识别OCR 的案例:大规模机器学习图片文字识别OCR大规模机器学习(Large Scale Machine Learning)在低方差的模型中,增加数据集的规模可以帮助我们获取更好的结果。但是当数据集增加到100万条的大规模的时候,我们需要考虑:大规模的训练集是否真的有必要。获取1.原创 2021-05-26 09:26:19 · 283 阅读 · 0 评论 -
吴恩达机器学习-11-推荐系统
公众号:尤而小屋作者:Peter编辑:Peter吴恩达机器学习-11-推荐系统Recommender Systems本周中主要讲解了推荐系统的相关知识。推荐系统应该是目前机器学习领域或者说人工智能领域最热门的方向之一,还有NLP、CV等,主要内容包含:推荐系统简介基于内容的推荐系统协同过滤推荐系统推荐系统概述常见的推荐系统有三种主要的应用常景:个性化推荐:常以“推荐”、“猜你喜欢”、“发现”等形式出现,一般放在首页位置相关推荐:常以“相关推荐”、“看了还看”等形式出现,一般放.原创 2021-05-26 09:25:43 · 104 阅读 · 0 评论 -
吴恩达机器学习-10-异常检测
公众号:尤而小屋作者:Peter编辑:Peter吴恩达机器学习-10-异常检测“黑中有白,白中有黑,没有绝对的白,也没有绝对的黑,黑可衬白,白可映黑。万物皆可转换”在本周中主要讲解了机器学习中的异常检测问题,主要包含:问题产生高斯分布算法使用场景八种无监督异常检测技术异常检测和监督学习对比特征选择异常检测Novelty Detection异常是相对于其他观测数据而言有明显偏离的,以至于怀疑它与正常点不属于同一个数据分布。异常检测是一种用于识别不符合预期行为的异常模式.原创 2021-05-22 09:12:28 · 207 阅读 · 1 评论 -
吴恩达机器学习-9-降维PCA
公众号:尤而小屋作者:Peter编辑:Peter吴恩达机器学习-9-降维PCA在本文中主要介绍的是数据降维相关的内容,重点讲解了PCA算法为何实施降维数据压缩数据可视化PCA算法PCA和线性回归算法的区别PCA算法特点Python实现PCAsklearn中实现PCA为何降维在现实高维数据情况下,会有数据样本稀疏、距离计算困难等问题,被称为维数灾难。解决的方法就是降维,也称之为“维数约简”,即通过某种数据方法将原始高维属性空间转成一个低维“子空间”。在这个子空.原创 2021-05-22 09:11:34 · 308 阅读 · 1 评论 -
吴恩达机器学习-8-聚类知识
公众号:尤而小屋作者:Peter编辑:Peter吴恩达机器学习-8-聚类本周的主要知识点是无监督学习中的两个重点:聚类和降维。本文中首先介绍的是聚类中的K均值算法,包含:算法思想图解K-Meanssklearn实现Python实现无监督学习unsupervised learning无监督学习简介聚类和降维是无监督学习方法,在无监督学习中数据是没有标签的。比如下面的数据中,横纵轴都是xxx,没有标签(输出yyy)。在非监督学习中,我们需要将一系列无标签的训练数据,输入到一个算法中.原创 2021-05-22 09:10:27 · 160 阅读 · 0 评论 -
吴恩达机器学习-7-支持向量机SVM
公众号:尤而小屋作者:Peter编辑:Peter吴恩达机器学习-7-支持向量机SVM本周主要是讲解了支持向量机SVM的相关知识点硬间隔支持向量软间隔对偶问题优化目标Optimization Objectives主要是讲解如何从逻辑回归慢慢的推导出本质上的支持向量机。逻辑回归的假设形式:左边是假设函数右边是Sigmoid激活函数令z=θTxz={\theta}^{T}xz=θTx,如果满足:若y=1y=1y=1,希望h(θ)h{(\theta)}h(θ)约为1,将样本.原创 2021-05-20 09:32:11 · 110 阅读 · 0 评论