柳杰的博客

原创 np.c_的用法

当列表中是两个ndarry对象时，按列连接

原创 机器学习基础算法33-HMM实践

文章目录1.高斯分布隐马尔可夫模型2.3.股票数据提取隐特征1.高斯分布隐马尔可夫模型# 高斯分布隐马尔科夫模型# 标记值为离散分布，观测值为连续分布import numpy as npfrom hmmlearn import hmmimport matplotlib.pyplot as pltimport matplotlib as mplfrom mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import cmfrom sklea

原创 西瓜书读书笔记5-决策树的分裂原则

文章目录1.ID3决策树2.C4.5决策树3.CART决策树1.ID3决策树2.C4.5决策树3.CART决策树

原创 机器学习基础算法32-隐马尔科夫模型HMM

文章目录一、隐马尔科夫模型1.HMM定义1什么样的问题需要HMM模型2.HMM模型定义一、隐马尔科夫模型1.HMM定义隐马尔科夫模型可用于标注问题，在语音识别、NLP、生物信息、模式识别等方面被实践证明是有效算法。HMM是关于时序的概率模型，描述由一个隐藏的马尔科夫链生成不可观测的状态随机序列，再由各个状态生成观测随机序列的过程。状态序列： HMM模型随机生成的状态随机序列观测序列： 每个状态生成一个观测，由此产生的观测随机序列序列的每一个位置可看做是一个时刻隐马尔科夫模型贝叶斯网络：在

原创 西瓜书读书笔记4-Sigmoid函数

原创 西瓜书读书笔记3-对数几率回归(logistic回归)公式推导

文章目录1.广义线性模型1.指数族分布2.广义线性模型的三条假设2.对数几率回归1.对数几率回归 的广义线性模型推导2.极大似然估计函数3.对数几率回归的参数估计1.广义线性模型1.指数族分布2.广义线性模型的三条假设2.对数几率回归1.对数几率回归 的广义线性模型推导2.极大似然估计函数3.对数几率回归的参数估计...

原创 西瓜书学习笔记2-多元线性回归公式推导

文章目录1.求解权重w的公式推导1.求解权重w的公式推导

原创 西瓜书学习笔记1-一元线性回归公式推导

文章目录1.求解偏置b的公式推导2.求解权重w的公式推导3.将w向量化1.求解偏置b的公式推导2.求解权重w的公式推导3.将w向量化

原创 机器学习基础算法31-贝叶斯网络实践

文章目录1.高斯朴素贝叶斯对鸢尾花数据进行分类2.文本数据的处理流程-20个类别的新闻组数据3.1.高斯朴素贝叶斯对鸢尾花数据进行分类import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport matplotlib as mplfrom sklearn.preprocessing import StandardScaler, MinMaxScaler, PolynomialFeaturesfrom skl

原创 机器学习基础算法30-贝叶斯网络理论

文章目录1.复习知识2.朴素贝叶斯1.复习知识2.朴素贝叶斯

原创 机器学习基础算法29-EM实践

文章目录1.EM算法的实现2.EM算法估算GMM的参数3.GMM调参：covariance_type4.EM算法无监督分类鸢尾花数据5.GMM/DPGMM(贝叶斯高斯分布)比较1.EM算法的实现import numpy as npfrom scipy.stats import multivariate_normalfrom sklearn.mixture import GaussianMixturefrom mpl_toolkits.mplot3d import Axes3Dimport mat

原创 机器学习实战笔记1-机器学习基础

文章目录1.何为机器学习2.机器学习的主要任务3.如何选择合适的算法4.使用机器学习算法的通用步骤1.何为机器学习机器学习是利用计算机来彰显数据背后的真实含义，将无序的数据转化为有用的信息。很多时候我们无法为现实问题建立精确的数学模型，为解决这一问题，引入统计学工具2.机器学习的主要任务监督学习：有目标值，即这类算法必须知道预测什么；可分为分类与回归分类：主要任务是将实例数据划分到合适的分类中回归：主要用于预测数值型数据监督学习算法： k-近邻算法、朴素贝叶斯算法、支持向量机、决策树、线性回

原创 机器学习基础算法28-EM算法

文章目录1.通过实例直观求解高斯混合模型GMM2.通过最大似然估计详细推导EM算法3.从理论公式推导GMM的参数4.pLSA模型1.通过实例直观求解高斯混合模型GMM2.通过最大似然估计详细推导EM算法3.从理论公式推导GMM的参数4.pLSA模型...

原创 机器学习基础算法27-聚类实战

1.密度聚类# 密度聚类import numpy as npimport matplotlib.pyplot as pltimport sklearn.datasets as dsimport matplotlib.colorsfrom sklearn.cluster import DBSCANfrom sklearn.preprocessing import StandardScalerdef expand(a, b): d = (b - a) * 0.1 return

原创 机器学习基础算法26-聚类理论

文章目录1.相似性的讨论2.Kmeans聚类的思路3.聚类的衡量指标1.相似性的讨论2.Kmeans聚类的思路3.聚类的衡量指标均一性、完整性、V-measure、ARI(维基百科)、AMI(维基百科)

原创 机器学习基础算法25-SVM实践

文章目录1.鸢尾花SVM-二特征分类2.SVM多分类方法：One/One or One/Other3. SVM不同参数的分类-不同的分类器（调参）4.不平衡数据的处理1.鸢尾花SVM-二特征分类# 鸢尾花SVM-二特征分类import numpy as npimport pandas as pdimport matplotlib as mplimport matplotlib.pyplot as plt# sklearn中svmfrom sklearn import svmfrom skl

原创 机器学习基础算法24-SVM理论部分

文章目录一、线性可分SVM举例二、线性SVM一、线性可分SVM举例二、线性SVM

原创 机器学习基础算法23-XGBoost实践

文章目录1.XGBoost简介2.Kaggle简介3.数据预处理-清洗4.案例部分1）判断蘑菇是否有毒-二分类2）1.XGBoost简介2.Kaggle简介Kaggle是一个数据分析的竞赛平台，网址为：https://www.kaggle.com/3.数据预处理-清洗特征：重要性高，缺失率低策略：通过计算进行补充；通过经验或业务知识估计特征：重要性高，缺失率高策略：尝试从其他渠道取书补全；使用其他字段通过数字获取；去除字段，并在字段中标明特征：重要性低，缺失率低策略：不做处理或简单填充

原创 机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

文章目录一、提升1.提升的概念2.提升算法3.梯度提升决策树-GBDT1)提升算法推导-梯度提升法2）GBDT4.XGBT推导1）提升算法推导-考虑使用二阶导信息2）决策树结构的划分3）XGBT总结5.Adaboost算法1）Adaboost算法推导2）Adaboost算法举例3）Adaboost算法收敛性证明4）Adaboost总结6.方差与偏差一、提升1.提升的概念2.提升算法3.梯度提升决策树-GBDT1)提升算法推导-梯度提升法2）GBDT4.XGBT推导1）提升算

原创 机器学习基础算法21-多输出的决策树回归

文章目录代码运行结果代码import numpy as npimport matplotlib.pyplot as pltfrom sklearn.tree import DecisionTreeRegressorif __name__ == "__main__": N = 400 x = np.random.rand(N) * 8 - 4 # [-4,4) x.sort() # print(x) print('================

原创 机器学习基础算法20-回归曲线拟合

文章目录代码代码import numpy as npimport matplotlib.pyplot as pltimport matplotlib as mplfrom sklearn.linear_model import RidgeCVfrom sklearn.ensemble import BaggingRegressorfrom sklearn.tree import DecisionTreeRegressorfrom sklearn.pipeline import Pipelin

原创 机器学习基础算法19-决策树实践-决策树回归-决策树用于拟合

文章目录代码运行结果代码# 决策树用于拟合import numpy as npimport matplotlib.pyplot as pltfrom sklearn.tree import DecisionTreeRegressorif __name__ == "__main__": # 构造数据 N = 100 x = np.random.rand(N) * 6 - 3 # [-3,3) # print(x.shape) # (100,)

原创 机器学习基础算法18- 鸢尾花数据集分类-随机森林

代码# 鸢尾花数据分类-随机森林# 结果为6个随机森林得到的结果import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport matplotlib as mplfrom sklearn.ensemble import RandomForestClassifier# def iris_type(s):# it = {'Iris-setosa': 0, 'Iris-versicolor': 1

原创 机器学习基础算法17-决策树-鸢尾花数据集分类及决策树深度与过拟合

文章目录决策树代码运行结果决策树决策树（Decision Tree）是一种基本的分类与回归方法，当决策树用于分类时称为分类树，用于回归时称为回归树。主要介绍分类树。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点，其中内部结点表示一个特征或属性，叶结点表示一个类。决策树学算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。根据信息增益准则的特征选择方法：对于训练数据集（或子集），计算其每个特征的信息增益，并比较它们的大小，选择信息增益

原创 机器学习基础算法16- 决策树与随机森林-理论部分

文章目录一、决策树1.信息熵1）熵2）联合熵与条件熵3）相对熵4）互信息总结2.决策树学习算法1）信息增益-ID32）信息增益率-C4.53)CART-gini系数总结4）决策树的评价5）决策树过拟合二、Bagging与随机森林1.Bagging2.随机森林3.样本不均衡的常用处理方法4.样本间相似度5.特征重要度6.异常检测一、决策树1.信息熵1）熵2）联合熵与条件熵3）相对熵4）互信息总结互信息的另一种表述方式2.决策树学习算法1）信息增益-ID3符号

原创 机器学习基础算法15-回归实例-线性回归、Ridge回归、LASSO、ElasticNet的高阶参数与过拟合以及TSS＞=ESS+RSS代码验证

代码实现import numpy as npfrom sklearn.linear_model import LinearRegression, RidgeCV, LassoCV, ElasticNetCVfrom sklearn.preprocessing import PolynomialFeaturesimport matplotlib.pyplot as pltfrom sklearn.pipeline import Pipeline# 处理warningfrom sklearn.ex

原创 机器学习基础算法14-波士顿房价预测-ElasticNet模型

文章目录ElasticNet模型介绍代码实验结果ElasticNet模型介绍ElasticNet又叫弹性网络回归，也就是L1-norm与L2-norm的组合。详细介绍见https://blog.csdn.net/qq_21904665/article/details/52315642代码import numpy as npimport matplotlib as mplimport matplotlib.pyplot as pltimport pandas as pd##数据分割为训练数

原创 机器学习基础算法13-回归实例-时间序列分析ARIMA

文章目录模型介绍实例介绍代码实验结果模型介绍https://blog.csdn.net/u012735708/article/details/82460962实例介绍给定某航班的乘客变化数据，使用ARIMA计算预测模型代码import pandas as pdimport numpy as npfrom statsmodels.tsa.arima_model import ARIMAimport matplotlib as mplimport matplotlib.pyplot as p

原创 机器学习基础算法12-回归实例-广告预测

文章目录1.广告预测-线性回归2.广告预测-岭回归1.广告预测-线性回归import numpy as npimport matplotlib as mplimport matplotlib.pyplot as pltimport pandas as pdfrom sklearn.model_selection import train_test_splitfrom sklearn.linear_model import LinearRegressionif __name__ == "_

原创 机器学习基础算法11-Logistic回归-ROC和AUC分类模型评估-实例

文章目录一、模型评估介绍1.分类模型评估2.回归模型评估二、ROC和AUC1.理论知识2. ROC曲线分析3.TPR与FPR的计算过程三、实例1.实例12.实例23.实例3-鸢尾花数据集一、模型评估介绍1.分类模型评估2.回归模型评估二、ROC和AUC1.理论知识AUC概念理解： https://www.zhihu.com/question/39840928?from=profile_question_cardROC全称是“受试者工作特征”（Receiver Operating Chara

原创 机器学习基础算法10-回归

文章目录一、线性回归1.最小二乘法的本质2.最小二乘法之正规方程-θ解析过程广义逆矩阵与SVD3. L1正则化与L2正则化原理简述4.机器学习与数据使用5.梯度下降算法1）梯度方向2）三种梯度下降算法一、线性回归最重要且常见的回归假设：机器学习当中往往伴随着假设1.假设的内涵性：就是根据常理应该是正确的2.假设的简化性：假设只是接近事实，往往需要做若干假设3.假设的发散性：在某个简化的假设下推导得出的结论，不一定只有在假设成立时，结论才正确。1.最小二乘法的本质2.最小二乘法之正规方程