想要快乐的小张-CSDN博客

原创排序算法总结（Python）

常见的八大排序算法冒泡排序选择排序插入排序希尔排序快速排序归并排序堆排序功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入冒泡排序冒泡排序是最基础和简单的排序算法，算法的思想是通过遍历数列，比较相邻俩个数的大小，将大的数放置于后面

2022-04-08 00:54:13 1374

原创 logistics回归模型的原理和实现

机器学习基础（七）Logistics回归原理代码实现Logistics回归原理Logistics回归是统计学习中的经典分类方法，是一种广义的线性回归模型。它经常被使用于二分类问题的解决上，具有不错的效果。Logistics回归是在线性回归的基础上，加入了sigmoidsigmoidsigmoid函数，使函数的取值分布在[0,1][0,1][0,1]之间，从而使模型具有分类的效果。Logistics回归的表达式为：hθ(x)=g(θTX)=11+e−θTxh_{\theta}(x)=g(\thet

2021-07-13 12:26:47 3743

原创线性回归原理及使用

机器学习基础（六）线性回归一元线性回归多元线性回归模型评价代码实现欠拟合和过拟合过拟合欠拟合解决方法岭回归线性回归定义：线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。特点为一个或多个称为回归系数的模型参数的线性组合一元线性回归一元线性回归的模型是模型中的变量只有一个。一元线性回归方程的表达式为yi=β0+β1xi+ϵiy_{i} = \beta_{0}+\beta_{1}x_{i}+\epsilon_{i}yi=β0+β1xi+ϵi其中β0\beta_{0}β0、

2021-07-12 15:31:05 544

原创决策树和随机森林算法原理和实现

机器学习基础（五）决策树概念算法原理信息熵和信息增益Gini指数随机森林算法流程决策树概念决策树是一种基本的分类与回归的方法。在机器学习中，经常用于解决分类问题，且有不错的效果。它是基于if-then的思想，对数据进行归类。算法原理决策树是选取数据中的特征，然后根据特征将训练样本切分，然后根据这个思想进行递归。决策树选取特征是通过信息熵和信息增益，选取信息增益较大的特征作为切分依据。信息熵和信息增益信息熵是指信息的不确定性的大小，信息熵越大说明信息的不确定性就越大。信息熵的计算公式为H(x

2021-07-11 17:39:27 1389

原创朴素贝叶斯算法

机器学习基础（四）朴素贝叶斯算法概念算法原理朴素贝叶斯算法概念朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类算法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布。然后基于此基础，对给定的输入xxx，使用贝叶斯定理求出后验概率最大的输出yyy。算法优点：实现简单，学习和预测效率高，精确度高算法缺点：无法进行调参算法原理首先定义XXX，YYY是随机向量，P(X,Y)P(X,Y)P(X,Y)是XXX和YYY的联合概率分布。数据集假定是独立同分布的。基于条件独立性假设，

2021-07-10 22:03:26 88

原创机器学习建模方法和KNN算法

机器学习基础（三）sklearn数据处理和模型评价数据切分模型评价KNN算法sklearn数据处理和模型评价数据切分在机器学习中，算法模型是根据数据拟合出来的结果，如果将用于训练得数据用于评价模型，那么模型得效果很可能是偏高的。所以我们需要对数据集进行切分，将数据集分为测试集和训练集。代码如下from sklearn.model_selection import train_test_splitx_train,x_test,y_train,y_test = train_test_split(X,

2021-07-10 10:59:21 304

原创数据特征选择

机器学习基础（二）数据特征选择VarianceThreshold（方差选择法）PCA（主成分分析）数据特征选择在机器学习中，数据的特征变量经常会出现无效或者是特征变量过多的情况。所以我们需要对数据特征进行选择，从所有的数据特征中选取部分的数据特征进行分析建模。特征选择的方法主要有三种：过滤式、嵌入式和包裹式。过滤式：对数据特征直接进行选择。嵌入式：将特征选择和模型训练融为一体，一起进行。包裹式*：将最后使用的模型性能作为特征子集的评价准则。本文仅介绍过滤式的特征选择方式VarianceThr

2021-07-08 14:48:11 1667

原创 DIN模型学习

DIN模型的由来DIN模型是在基准模型的基础上加入注意力机制模型，基准模型是由Embedding Layer、Pooling Layer、Concat layer、MLP layer、Loss组成的。由于基准模型是在特征输出后经过MLP层后才进行了特征交互处理，故特征的交互是欠缺的，在输入特征时直接加上交互也是不妥的，这样大大的增加了计算量，故加入广告与用户行为的注意力机制，即通过关注广告与用户历史兴趣，从而增加用户的点击行为。DIN模型的组成输入的特征向量有用户的行为向量、商品的特征向量、以及商品

2021-03-28 02:11:30 540 1

原创 NFM学习记录

NFM的来源NFM是在DeepFM的基础上进行改进的一个模型，DeepFM的模型是y^FM(x)=w0+∑i=1Nwixi+∑i=1N∑j+1NviTvj⋅xixj\hat{y}_{FM}(x)=w_{0}+\displaystyle\sum^{N}_{i=1}w_{i}x_{i}+\displaystyle\sum^{N}_{i=1}\sum^{N}_{j+1}v_{i}^{T}v_{j}\cdot x_{i}x_{j}y^FM(x)=w0+i=1∑Nwixi+i=1∑Nj+1∑NviT

2021-03-25 00:58:29 128

原创 DeepFM模型学习笔记

DeepFM的背景对于CTR的推荐系统模型，在许多场景中，低阶组合特征和高阶组合特征都会对CTR造成一定的影响。其中高阶组合特征将到来更复杂的计算量，模型的整体表现将会下降。所以在平常的推荐中经常使用低阶组合特征进行计算。对于高阶组合特征，可以使用DNN模型进行处理，但可能会发生维度爆炸的可能，所以在DNN的基础上加入Field的思想，在中将将特征转换为Dense Vector，再进行连接。然后再加入低阶特征组合。对于DeepFM就是对于低阶特征组合进行建模再添加进入DNN中。DeepFM的结构

2021-03-21 23:33:06 160

原创 Wide&Deep模型学习

Wide&Deep模型概念Wide&Deep模型是一个线性模型加一个神经网络模型，其中wide代表线性模型，deep代表了神经网络模型。Wide模型Wide模型是一个线性模型，即y=Xβ+by=X\beta+by=Xβ+b，其中XXX表示的是输入的特征向量，β\betaβ为特征权重，bbb则是为截距项。特征中包含了俩个部分，一部分为原始的数据，一部分是经过了特征转化的数据。然后主要的转化特征为交叉组合（任意俩个或俩个以上的特征相乘），这种方式在线性模型中，拟合优度较低时，可以选择加入交

2021-03-19 00:57:53 222

原创 Deep Crossing的学习笔记

Deep Crossing的简介Deep Crossing模型是微软于2016年在KDD上提出的模型，它算是第一个企业以正式论文的形式分享深度学习推荐系统的技术细节的模型。该模型由Embedding Layer + Stacking Layer + Multiple Residual Units Layer + Scoring Layer组成。用于广告推荐，预测用户是否会点击广告，优化推荐。Embedding层Embedding层是将特征中的稀疏变量转化为稠密向量，由于部分特征使用one-hot方法.

2021-03-16 21:53:40 130

m0_46480988的博客