- 博客(19)
- 收藏
- 关注
RSS订阅
原创 手写算法-python代码实现DBSCAN
手写算法-python代码实现DBSCAN原理解析代码实现实例演示与sklearn对比总结原理解析上篇文章我们优化了Kmeans聚类算法，最后留下一个问题：Kmeans只适合处理凸样本集，不适合处理非凸样本集，这个问题，怎么解决？链接: 手写算法-python代码实现Kmeans++以及优化生成演示数据集：import numpy as npimport matplotlib.pyplot as pltfrom sklearn.datasets import make_circles,mak
2020-12-19 02:14:51
2891
6
原创 手写算法-python代码实现Kmeans++以及优化
手写算法-python代码实现Kmeans++以及优化聚类结果不稳定的优化方法一次优化：kmeans++二次优化：添加参数n_init其他问题的优化方法聚类结果不稳定的优化方法上篇文章，我们列举了Kmeans的不足之处，也用python代码实现了Kmeans聚类，但是跑出来的聚类结果不稳定，详情请看：链接: 手写算法-python代码实现Kmeans今天，我们来解决这个问题。一次优化：kmeans++问题点：随机选取k个数据，导致结果无法收敛。因为随机选取，可能会使选取的几个数据点都非常靠近，
2020-12-18 00:41:38
6594
28
原创 手写算法-python代码实现Kmeans
手写算法-python代码实现Kmeans原理解析代码实现实例演示sklearn对比总结原理解析今天，我们来讲一下Kmeans，一种无监督聚类算法，也是最为经典的基于划分的聚类方法,它的思想是：对于给定的样本集，按照样本之间的距离大小，将样本集划分为K个簇。让簇内的点尽量紧密的连在一起，而让簇间的距离尽量的大。实现流程如下：1、先确定数据集聚类个数k；2、在数据集中随机选取k个数据，作为初始质心；3、计算数据集中每个样本到每个质心的距离，把样本划分到距离最小的质心所属的类别；4、根据聚类结果
2020-12-17 03:02:35
2607
3
原创 手写算法-python代码实现自定义的KNN
手写算法-python代码实现自定义的KNN普通KNN存在的问题自定义权重python代码实现sklearn的KNN库对比普通KNN存在的问题上篇文章，我们梳理了一下KNN，其中谈到一个问题：做分类任务时，K个近邻数据，到样本的距离都不一样，但是我们都一视同仁，统计最大样本数对应的y标签，作为预测标签，这样明显不太合理，例如：import numpy as npimport matplotlib.pyplot as pltfrom sklearn.datasets import make_cla
2020-12-13 01:30:53
3599
17
原创 手写算法-python代码实现KNN
手写算法-python代码实现KNN原理解析代码实现实例展示sklearn对比总结原理解析KNN-全称K-Nearest Neighbor，最近邻算法，可以做分类任务，也可以做回归任务，KNN是一种简单的机器学习方法，它没有传统意义上训练和学习过程，实现流程如下：1、在训练数据集中，找到和需要预测样本最近邻的K个实例；2、分别统计这K个实例所属的类别，最多的那个类别就是样本预测的类别（多数表决法）；对于回归任务而言，则是求这K个实例输出值的平均值(选择平均法)；因此，该算法的几个重点在于：1、
2020-12-12 18:29:00
2398
原创 手写算法-python代码实现非线性逻辑回归（带L1、L2正则项）
手写算法-python代码实现非线性逻辑回归非线性逻辑回归分析用python代码写的逻辑回归类画决策边界 & 用sklearn里面的逻辑回归库画决策边界多项式逻辑回归代码展示总结非线性逻辑回归分析上一篇文章，我们介绍了逻辑回归，详情请看这里：链接: 手写算法-python代码实现逻辑回归（带L1、L2正则项）其实这是线性逻辑回归，决策边界是线性的，那么当一个数据集，它的划分边界是非线性时，我们该怎么处理？我们利用sklearn来生成相关数据集：import numpy as npimp
2020-12-10 01:20:29
2268
7
原创 手写算法-python代码实现逻辑回归（带L1、L2正则项）
手写算法-python代码实现逻辑回归逻辑回归原理解析损失函数定义以及数学公式推导过程解释1：通俗易懂的手推损失函数：解释2：最大似然估计求解参数对损失函数推导梯度python代码实现逻辑回归逻辑回归原理解析前面我们系统性的介绍了线性回归，初学者建议把我前面的文章看完，再来看逻辑回归。写得应该算是容易看懂的了，且都有实例辅证，大家看的时候要自己跑一边代码，多动手、多思考。今天，我们来讲逻辑回归。逻辑回归是LogisticRegression的直译，它不是用来解决回归问题的，而是用来解决分类问题的，它
2020-12-08 03:41:37
9350
19
原创 手写算法-python代码实现Ridge(L2正则项)回归
手写算法-python代码实现Ridge回归Ridge简介Ridge回归分析与python代码实现1、标准方程法实现Ridge回归2、梯度下降法实现Ridge回归调用sklearn对比Ridge简介前面2篇文章，我们介绍了过拟合与正则化，比较全面的讲了L1、L2正则化的原理与特点；链接: 原理解析-过拟合与正则化以及python代码实现Lasso回归；链接: 手写算法-python代码实现Lasso回归今天，我们在这基础上，讲一讲Ridge回归，就比较简单了，本文主要实现python代码的Ri
2020-12-06 17:43:57
8490
17
原创 手写算法-python代码实现Lasso回归
手写算法-python代码实现Lasso回归Lasso回归简介Lasso回归分析与python代码实现1、python实现坐标轴下降法求解Lasso调用sklearn的Lasso回归对比2、近似梯度下降法python代码实现LassoLasso回归简介上一篇文章我们详细介绍了过拟合和L1、L2正则化，Lasso就是基于L1正则化，它可以使得参数稀疏，防止过拟合。其中的原理都讲的很清楚，详情可以看我的这篇文章。链接: 原理解析-过拟合与正则化本文主要实现python代码的Lasso回归，并用实例佐证原
2020-12-06 02:16:13
23092
23
原创 原理解析-过拟合与正则化
原理解析-过拟合与正则化什么是过拟合线性回归中，正则化一般怎么实现？L0正则化解析L1正则化解析L1正则化为什么可以防止过拟合？为什么L1正则化会使得参数稀疏，一部分参数的系数会变为0？L2正则化解析L2正则化为什么可以防止过拟合？为什么L2正则化会使得参数接近0，而不会变为0？总结什么是过拟合本来关于过拟合与正则化，我是不打算写一篇文章的，今晚想了想，还是写一篇吧。一是直接写带正则化的线性回归代码，显得有些突兀；二是这个东西确实比较重要，我这里会尽量简单的讲清楚。什么是过拟合？我们都知道，目前
2020-12-05 02:23:51
6073
8
原创 手写算法-Python代码实现非线性回归
手写算法-Python代码实现非线性回归生成非线性数据集1、用线性回归拟合2、多项式拟合sklearn实现，校验系数的结果总结生成非线性数据集前面我们介绍了Python代码实现线性回归，今天，我们来聊一聊当数据呈现非线性时，这时我们继续用线性表达式去拟合，显然效果会很差，那我们该怎么处理？继续上实例（我们的代码里用到的数据集尽量直接由Python生成，因此，是可以全部跑通的，有需要的同学，建议大家粘贴复现一下，多思考，多动手，才可以学的更好。）import numpy as npfrom matpl
2020-12-04 00:36:11
11580
12
原创 手写算法-Python代码推广多元线性回归
Python代码实现线性回归一般式的2种方法1、梯度下降-矩阵形式2、标准方程法sklearn实现对比标准方程法1、梯度下降-矩阵形式上篇文章介绍了一元线性回归，包括Python实现和sklearn实现的实例、对比，以及一些问题点，详情可以看这里：链接: 手写算法-Python代码实现一元线性回归里面封装的one_variable_linear()类只适用于一元线性回归，本篇文章修改代码，推广至多元线性回归，并介绍2种更简洁的方法。先给大家复习一下矩阵的基本知识：转置矩阵：损失函
2020-12-02 00:16:25
2627
10
原创 手写算法—Python代码实现一元线性回归
Python实现线性回归简述假设函数、损失函数和梯度下降法Python实现线性回归对比sklearn实现的一元线性回归简述线性回归模型是机器学习里面最基础的一种模型，是为了解决回归问题，学习机器学习从线性回归开始最好，网上关于机器学习的概述有很多，这里不再详细说明，本博文主要关注初学者常见的一些问题以及本人的一些思考和心得，会以实例的方式展现出来。假设函数、损失函数和梯度下降法首先，我们利用sklearn包来生成一组回归数据import numpy as npimport pandas as p
2020-12-01 01:04:12
6710
8
原创 验证系列-机器学习中，为什么要进行数据标准化或者归一化？
机器学习中，为什么要进行数据标准化或者归一化？应用条件原理分析实例佐证应用条件我们在翻阅各种资料时，在数据预处理步骤，经常会看到对数据进行标准化或者归一化，那么这么做的好处是什么？1、这样处理后加快了梯度下降求最优解的速度；2、有可能提高精度；但是，理解这句话后，你会发现，这是有应用条件的，即：1、适用于用梯度下降法求参数的算法；2、适用于基于距离的算法；比如树模型这种基于概率的，是没有作用的。原理分析1、为什么这样处理后加快了梯度下降求最优解的速度？原因很简单，比如我们有这样一个2元
2020-12-09 02:28:02
3833
原创 代码系列-pandas如何在一次操作中，往同一张Excel表里面，插入多个sheet数据？
pandas如何在一次操作中，往同一张Excel表里面，插入多个sheet数据？问题点解决方案问题点import pandas as pdimport numpy as np通常情况下，我们想把一个数据插入到Excel表中，data_1.to_excel(r’…\xx.xlsx’,sheet_name = ‘测试1’)data_2.to_excel(r’…\xx.xlsx’,sheet_name = ‘测试2’)这样，一个Excel里面会同时存在2个sheet：一个叫’测试1’，一个叫’测试
2020-12-09 00:46:11
665
1
原创 代码系列-python实现PolynomialFeatures（多项式）
python实现PolynomialFeatures（多项式）sklearn生成多项式Python生成多项式sklearn生成多项式import numpy as npfrom sklearn.preprocessing import PolynomialFeatures #这哥用于生成多项式x=np.arange(6).reshape(3,2) #生成三行二列数组reg = PolynomialFeatures(degree=3) #这个3看下面的解释reg.fit_transform
2020-12-03 00:55:13
6177
8
原创 踩坑系列-字符编码OneHotEncoder
OneHotEncoder今天想起来，之前应用OneHotEncoder存在的问题，这里和大家分享一下。OneHotEncoder又被称为独热编码，什么意思呢，就是1、每一列特征需要构建的状态寄存器的位数等于该列特征独立取值的个数；2、使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。到底在说什么呢？请看下面的代码演示就明白了(以下代码在jupyter notebook里执行)import numpy as npimport pandas
2020-12-02 23:27:16
2445
原创 验证系列-线性回归、逻辑回归问题中对X添加偏置x0=1，对于最终系数到底有没有影响？
线性回归、逻辑回归问题中对X添加偏置x0=1，对于最终系数到底有没有影响？验证：线性回归中添加偏置验证：逻辑回归中添加偏置验证：线性回归中添加偏置利用sklearn生成如下回归数据集：import numpy as npimport pandas as pdfrom sklearn import datasets #sklearn生成数据集都在这里from matplotlib import pyplot as plt#生成一个特征的回归数据集x,y=datasets.make_re
2020-12-02 22:37:35
1749
3
原创 我的第一篇博客-前言
前言首先欢迎大家来看我写的博客，博客的主要内容为机器学习、深度学习、风控建模、大数据知识，希望可以和大家一起进步。对于我而言，一直以来是不想也不敢写博客的，原因很简单：市面上已经有很多大神写了很多优秀博客，我在学习的过程中，通过看博客学习到了不少知识；我自认才疏学浅，有些东西如果我没有完全弄清楚，怕写的东西不明白，误导别人；可能我比较懒吧o(╥﹏╥)o；今天之所以决定开始写博客，原因也很简单：最近我在复习机器学习的知识点，其中有很多自己探索的过程、发现，希望通过博客记录下来；抱着开源的
2020-11-29 19:12:04
2524
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人