机器学习算法
文章平均质量分 86
秃顶的码农
杜宝坤,隐私计算行业从业者,从0到1带领团队构建了京东的联邦学习解决方案9N-FL,同时主导了联邦学习框架与联邦开门红业务。框架层面:实现了电商营销领域支持超大规模的工业化联邦学习解决方案,支持超大规模样本PSI隐私对齐、安全的树模型与神经网络模型等众多模型支持。业务层面:实现了业务侧的开门红业务落地,开创了新的业务增长点,产生了显著的业务经济效益。
个人比较喜欢学习新东西,乐于钻研技术。基于从全链路思考与决策技术规划的考量,研究的领域比较多,从工程架构、大数据到机器学习算法与算法框架均有涉及。欢迎喜欢技术的同学和我交流。
同名公众号:秃顶的码农
展开
-
白话机器学习-Transformer
前一阵打算写这方面的文章,不过发现一个问题,就是如果要介绍Transformer,则必须先介绍Self Attention,亦必须介绍下Attention,以及Encoder-Decoder框架,以及GRU、LSTM、RNN和CNN,所以开始漫长的写作之旅。截止本文终于完成这个漫长的过程,原创 2022-05-04 17:50:38 · 2503 阅读 · 1 评论 -
白话机器学习-Self Attention
一 背景大抵是去年底吧,收到了几个公众号读者的信息,希望能写几篇介绍下Attention以及Transformer相关的算法的文章,当时的我也是满口答应了,但是确实最后耽误到了现在也没有写。前一阵打算写这方面的文章,不过发现一个问题,就是如果要介绍Transformer,则必须先介绍Self Attention,亦必须介绍下Attention,以及Encoder-Decoder框架,以及GRU、LSTM、RNN和CNN,所以开始漫长的写作之旅。截止目前,已经完成几篇文章的输出《白话机器学习-卷积神原创 2022-05-02 14:52:20 · 1283 阅读 · 0 评论 -
白话机器学习-Attention
从计算性能和模型性能的综合考量,在工业界,Attention被大量使用,“Attention is all your need!”。原创 2022-05-01 14:28:21 · 1780 阅读 · 0 评论 -
白话机器学习-Encoder-Decoder框架
一 背景大抵是去年底吧,收到了几个公众号读者的信息,希望能写几篇介绍下Attention以及Transformer相关的算法的文章,当时的我也是满口答应了,但是确实最后耽误到了现在也没有写。前一阵打算写这方面的文章,不过发现一个问题,就是如果要介绍Transformer,则必须先介绍Self Attention,亦必须介绍下Attention,以及Encoder-Decoder框架,以及GRU、LSTM、RNN和CNN,所以开始漫长的写作之旅。截止目前,已经完成几篇文章的输出《白话机器学习-卷积神原创 2022-04-30 17:57:20 · 4822 阅读 · 1 评论 -
白话机器学习-循环神经网络从RNN、LSTM到GRU
循环神经网络全景介绍,从RNN到LSTM再到GRU,全面介绍循环神经网络全貌。原创 2022-04-18 15:51:49 · 1336 阅读 · 0 评论 -
白话机器学习-循环神经网络RNN
一 背景本章将要介绍一种常用的神经网络结构 – 循环神经网络(recurrent neural network,RNN)。常规的神经网络比如全连接网络只能单独孤立的处理一个个的输入,前一个输入和后一个输入是完全没有关系的。但是,某种情况下,输入是有序列关系的,需要网络能够更好的处理序列的信息。这种需要处理「序列数据 – 一串相互依赖的数据流」的场景就需要使用 RNN 来解决了。典型的几种序列数据:文章里的文字内容语音里的音频内容股票市场中的价格走势……二 循环神经网络简介2.1 深原创 2022-04-10 22:02:27 · 926 阅读 · 0 评论 -
白话机器学习-长短期记忆网络LSTM
长短时记忆网络(Long Short Term Memory Network)LSTM,是一种改进之后的循环神经网络,通过门控机制有选择的记忆重要的内容,可以解决RNN无法处理长距离的依赖的问题,目前比较流行。LSTM结构(图右)和普通RNN的主要输入输出区别如下所示。原创 2022-04-04 22:05:11 · 1873 阅读 · 0 评论 -
白话机器学习-卷积神经网络CNN
在卷积神经网络CNN 出现之前,图像对于人工智能来说是就是一个灾难,主要是有两个原因:一 图像需要处理的数据量过多;二 图像的特征无法很好的保留。CNN通过平移不变原理和参数共享机制非常完美的解决了图像特征提取的难题,在业界大放异彩。原创 2022-04-08 10:38:06 · 3543 阅读 · 1 评论 -
白话机器学习-循环神经网络RNN
一 背景本章将要介绍一种常用的神经网络结构 – 循环神经网络(recurrent neural network,RNN)。常规的神经网络比如全连接网络只能单独孤立的处理一个个的输入,前一个输入和后一个输入是完全没有关系的。但是,某种情况下,输入是有序列关系的,需要网络能够更好的处理序列的信息。这种需要处理「序列数据 – 一串相互依赖的数据流」的场景就需要使用 RNN 来解决了。典型的几种序列数据:文章里的文字内容语音里的音频内容股票市场中的价格走势……二 循环神经网络简介2.1 深原创 2022-04-04 21:06:12 · 1344 阅读 · 1 评论 -
对数函数与幂函数
对数函数1. 金字塔1.1 横线思考对数函数与指数函数的关系,互为反函数的关系;专业术语:底数、对数、真数(幂)、特殊对数函数:常数对数函数、自然对数函数;底数的取值范围:大于0,但是不等于1;对数函数的定义域 :(0<x<∞)(0<x<\infty)(0<x<∞)对数函数的值域:(−∞<y&原创 2018-11-05 11:42:52 · 10020 阅读 · 0 评论 -
指数函数
指数函数1.金字塔1.1 横向思维底数、指数、幂;定义域、值域、奇偶性、单调递增、单调递减;整数指数幂、根式、根指数、分数指数幂;1.2 纵向思维指数函数的定义指数函数的性质指数函数的定理指数函数的运算指数函数的图像2.麦氏思维2.1 基础知识底数的范围:指数的范围:指数幂的范围;2.2 读书笔记2.2.1 指数与指数幂的运算1.底数:(0 &l...原创 2018-11-05 10:28:42 · 4866 阅读 · 0 评论 -
三角函数
三角函数@(高等数学)1 任意角和弧度制按照逆时针方向旋转形成的角叫做正角(positive angle),按照顺时针方向旋转形成的角叫做负角(nagative angle)。把长度等于半径长的弧所对的圆心角叫做1弧度(radian)的角,用符号rad标识,读作弧度。2 任意角的三角函数2.1 金字塔三角函数:正弦函数、余弦函数、正切函数、余切函数2.2. 麦笔记...原创 2018-11-21 09:23:13 · 937 阅读 · 0 评论 -
线性代数-矩阵
线性代数-矩阵@(线性代数)永远年轻,永远较劲,联想想象线性代数-矩阵永远年轻永远较劲联想想象矩阵及其运算内容要点矩阵定义性质矩阵与行列式运算法则矩阵的运算一 矩阵的加法二 数与矩阵相乘三 矩阵与矩阵相乘四 矩阵的转置五方阵的行列式伴随矩阵共轭矩阵逆矩阵必须是方阵问题引入定义定理可逆条件 逆阵求法奇异矩阵与非奇异矩阵大原创 2018-02-01 09:29:54 · 583 阅读 · 0 评论 -
概率论与数理统计基础
@(概率论)文章目录前言数学期望定义离散型的定义连续型的定义例题定理推广例题性质例题方差定义离散型的方差公式连续型的方差公式公式及其证明定理标准化变量例题标准化变量(0-1)分布泊松分布均匀分布指数分布二项分布正态分布(高斯分布)切比雪夫不等式性质协方差及相关系数定义矩、协方差矩阵番外篇前言本文是概率论与数理统计的相关基础知识。正所谓万丈高楼平地起,所谓复杂皆出自简单,万事万物都是由最基础的原子构成。上一章介绍了随机变量的分布函数、分布律和概率密度,他们都能完整的描述随机变量,但在某些实际或理论原创 2021-11-20 11:57:23 · 3663 阅读 · 0 评论 -
概率论与数理统计基础知识
文章目录1. 概率论的基本知识条件概率(先验概率VS后验概率)1. 概率论的基本知识随机试验。样本空间、随机事件、基本事件。频率、概率、加法公式、乘法公式。古典概率:取球模型、分球模型。条件概率:条件概率(先验概率VS后验概率)个人感觉后验概率类似条件概率;条件概率是一种相对的概念,古典概率相对的是全部的样本,条件概率相对的是部分的样本,直白的说就是分母...原创 2019-03-06 15:01:40 · 1778 阅读 · 0 评论 -
bloomfilter详解(布隆过滤器)
目录目录描述算法描述误判率计算和证明总结参考文章描述 Bloom Filter是一种空间效率很高的随机数据结构,它利用位数组很简洁地表示一个集合,并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的:在判断一个元素是否属于某个集合时,有可能会把不属于这个集合的元素误认为属于这个集合(false positive)。因此,Bloo原创 2018-01-12 16:21:39 · 3467 阅读 · 0 评论 -
疾病检测与贝叶斯应用
疾病监测与贝叶斯疾病监测与贝叶斯问题引入问题分析贝叶斯公式总结问题引入 举个例子,我们去医院检查某种疾病,一般都会让你做个检查,检查的结果,有可能是阳性,也有可能是阴性。通常呢,我们是不大希望是阳性的,这意味着我们患病的可能性非常大,一般人看到阳性后,都比较恐慌。 假如有一台机器,通过对患者血液的分析(检测结果阳性或者阴性),来判断一个人是否有艾原创 2018-01-19 20:14:12 · 3313 阅读 · 0 评论 -
文本相似度-bm25算法原理及实现
文本相似度-bm25算法原理及实现文章目录文本相似度-bm25算法原理及实现原理原理BM25算法:用途:搜索相关性分数的计算;算法描述:对Query进行语素解析,生成语素qiq_iqi;然后,对于每个搜索结果D,计算每个语素qiq_iqi与D的相关性得分,最后,将qi相对于D的相关性得分进行加权求和,从而得到Query与D的相关性得分。BM25算法的一般性公式如下:...原创 2019-01-30 16:08:46 · 504 阅读 · 0 评论 -
机器学习 数据预处理之One-Hot Encoding
机器学习 数据预处理之One-Hot Encoding文章目录机器学习 数据预处理之One-Hot Encodingpip安装sklearn安装简介One-Hot Encodingpip安装Python有两个著名的包管理工具easy_install.py和pip。在Python2.7的安装包中,easy_install.py是默认安装的,而pip需要我们手动安装。curl https...原创 2019-02-01 10:52:43 · 440 阅读 · 0 评论 -
机器学习基础知识
机器学习技巧文章目录机器学习技巧基本知识异常情况经验误差与过拟合评估方法留出法交叉验证法(cross validation)自助法调参与最终模型性能度量(performance measure)基本知识监督学习、非监督学习、半监督学习、强化学习:分类与回归是监督学习的代表;聚类是非监督学习的代表;生成模型、判别模型分类、回归:预测的是离散值还是连续值;模型:泛化能力模型、策略、算没...原创 2019-02-28 15:22:51 · 341 阅读 · 0 评论 -
白话机器学习-感知机
感知机@(机器学习算法)感知机概述感知机模型感知机学习策略感知机学习算法原始形式对偶形式概述 感知机1957年由Rosenblatt提出,是神经网络与支持向量机的基础,对神经网络的学习与深度学习有着重要的意义。 感知机( perceptron)是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1值。原创 2018-01-28 19:47:18 · 467 阅读 · 0 评论 -
白话机器学习-逻辑斯蒂回归-理论+实践篇
白话机器学习-逻辑斯蒂回归-理论+实践篇@(2018年例会)白话机器学习-逻辑斯蒂回归-理论实践篇概述转换函数单位阶跃函数sigmoid function几率与对数几率损失函数代码实战参考概述 前面讲述了线性回归,线性回归的模型 y=wT+by = w^T + b。模型的预测值逼近真实标记y。那么可否令模型的预测值逼近真实标记y的衍生物原创 2018-01-20 20:31:00 · 390 阅读 · 0 评论 -
白话机器学习-逻辑斯蒂回归-理论篇
白话机器学习-逻辑斯蒂回归-理论篇@(2018年例会)白话机器学习-逻辑斯蒂回归-理论篇概述转换函数单位阶跃函数sigmoid function几率与对数几率损失函数概述 前面讲述了线性回归,线性回归的模型 y=wT+by = w^T + b。模型的预测值逼近真实标记y。那么可否令模型的预测值逼近真实标记y的衍生物呢。比如说模型的预测值逼近原创 2018-01-18 21:57:19 · 481 阅读 · 0 评论 -
白话机器学习-线性模型之线性回归
目录目录前言线性模型的基本形式线性回归多元回归前言 最近整理以前的笔记,发现还是写了一些文章的,以前都是记录在自己的笔记空间,没有分享,打算逐步进行分享,笔记的内容有工程方面的、有算法方面的,比较杂。线性模型的基本形式输入:x=(x1;x2;x3;…;xd)。表示:示例有d个属性,xi表示第i个属性;y表示输入x的标记。(x,y)组成样本点。原创 2018-01-12 16:19:31 · 477 阅读 · 0 评论 -
白话机器学习-最优化方法-牛顿法
白话机器学习-最优化方法-牛顿法白话机器学习-最优化方法-牛顿法简介特点方式分析算法简介 牛顿法,英文名称BFGS,是求解非线性优化问题的最有效的方法之一。特点收敛速度快;方式牛顿法是迭代算法,每一步需要求解目标函数的海塞矩阵的逆矩阵,计算比较复杂(后续会讲解拟牛顿法,拟牛顿法通过正定矩阵近似海塞矩阵的逆矩阵或海原创 2018-01-12 16:13:43 · 643 阅读 · 0 评论 -
白话机器学习-最优化方法-梯度下降法
目录目录前言:定义:分析算法描述前言:本来打算直接分享逻辑回归的知识了,但是在整理笔记的过程中发现,逻辑回归里面用到的知识点不少,所以先整理下用到的相关数学知识,本章首先分享梯度下降法;我们知道,数据挖掘的核心方法论是,定义出目标函数,定义出损失函数(代价函数),然后运用各种数学方法进行代价函数最小化,本章将要结束的梯度下降法就是一种方法(术语无原创 2018-01-12 11:36:44 · 561 阅读 · 0 评论 -
深度学习概述-非线性
文章目录一 背景二 线性与非线性模型1 线性模型2 非线性模型三 深度学习的非线性表达一 背景 近年来,伴随着大数据与大算力的突破性进展,基于深度学习的突破层出不穷,基于卷积的网络结构在图像领域大放异彩、基于时序的网络模型在搜广推被广泛使用,并且产生了巨大的经济与体验效益,深受广大算法从业者的偏爱。 那么什么是深度学习呢?深度学习为何会如此强悍呢? 引用维基百科对于深度学习的定义:通过多层非线性变换对高复杂性数据建模算法的合集。并且因为深层神经网络是实现“多层非线性变换”最常用的一种方法,所原创 2022-01-23 00:37:21 · 1831 阅读 · 0 评论 -
图神经网络概述
文章目录一 什么是图神经网络1 神经网络的兴盛2 数据的异构性二 图神经网络1 图2 图神经网络综述2.1 图存储2.2 图嵌入2.3 图神经网络模型三 图卷积神经网络GCN参考文章一 什么是图神经网络我是蓝色1 神经网络的兴盛[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yEi1eJgt-1642334328286)(/Users/dubaokun/Desktop/1 work/1.历练成长/进步成长/图片/image-20220116180512436.png)]原创 2022-01-16 20:32:45 · 1188 阅读 · 0 评论