qq_44665283的博客

信息量、熵、KL散度、交叉熵概念理解

经典机器学习模型(八)梯度提升树GBDT详解

经典机器学习模型(九)EM算法在高斯混合模型中的应用

经典机器学习模型(九)EM算法的推导

经典机器学习模型(二)KNN模型(构造kd树实现)

经典机器学习模型(一)感知机模型详解(包括对偶形式及其python实现)

利用拉格朗日对偶性求解带约束条件的最优化问题

优化算法之最速梯度下降法、牛顿法、拟牛顿法(DFP及BFGS)

矩阵的导数运算(理解分子布局、分母布局)

集成算法(2)—Adaboost算法原理

sklearn中的svm参数详解、案例分析

支持向量机中点到超平面距离公式推导、SVM硬间隔、软间隔模型和损失函数推导及意义详解

集成算法的分类，随机森林原理及其简单实现，随机森林预测宽带客户离网，随机森林分析酒店预定取消率影响的因素

决策树算法手动实现及sklearn工具包详解，决策树预剪枝、后剪枝，决策树模型信息提取及部署

逻辑回归归一化、过拟合问题，逻辑回归进行逐步回归式建模，提取逻辑回归原始数据的模型系数，逻辑回归多分类问题

传统机器学习(二)逻辑回归算法原理，python手动实现以及sklearn工具包使用详解

传统机器学习(五)—分类、回归模型的常见评估指标

聚类算法DBSCAN

聚类算法K-means案例详解

暂退法（dropout）

使用CIFAR10数据集进行模型训练(模板代码)

利用L2范数(权重衰减)解决线性模型过拟合

多层感知机

pytorch基础操作(四)softmax回归手动实现以及pytorch的API实现

pytorch基础操作(三)梯度下降(小批量)计算线性回归

pytorch基础操作(二) 自动微分

pytorch基础操作(一)数据操作

1、基础内容（1）公式总结:（2）内容回归:逻辑回归主要是进行二分类和多分类。二分类中，分为线性可分和线性不可分。对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将hθ(x){h_\theta}(x)hθ​(x)带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数（non-convexfunction）。这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值。线性回归的代

海洋生物数据集1、创建海洋生物数据集#1、创建数据集import numpy as npimport pandas as pddef createDataSet(): row_data = {'no surfacing':[1,1,1,0,0], 'flippers':[1,1,0,1,1], 'fish':['yes','yes','no','no','no']} dataSet = pd.DataFrame(row_data) return dataS

一、概述k-近邻算法（k-Nearest Neighbour algorithm），又称为KNN算法，是数据挖掘技术中原理最简单的算法。KNN的工作原理：给定一个已知标签类别的训练数据集，输入没有标签的新数据后，在训练数据集中找到与新数据最邻近的k个实例，如果这k个实例的多数属于某个类别，那么新数据就属于这个类别。可以简单理解为：由那些离X最近的k个点来投票决定X归为哪一类。二、利用k-近邻算法分类电影二维图形：扩展多个特征到N维空间(欧几里得距离公式)：K近邻算法的步骤：(1) 计