机器学习
文章平均质量分 90
luv_dusk
你很有眼光
展开
-
机器学习的数学基础
目录前言一、线性代数1. 基本概念2. 运算3. 求导4. 偏导5. 矩阵分解6. 相似性二、概率论1. 概率与分布1.1 概率函数1.2 概率1.3 事件1.4 分布前言以自身笔记为主,在郭耀华的 博客 基础上进行丰富和补充,在这里表达感谢。一、线性代数1. 基本概念标量 (scalar):实数;x∈Rx\in\mathbb{R}x∈R向量 (vector):未特殊说明的情...原创 2019-08-29 17:26:46 · 437 阅读 · 0 评论 -
从图嵌入算法到图神经网络
近几年来,伴随着计算机算力的急剧提升,神经网络从历史的尘埃中走出,横扫各大领域,完成一次次颠覆性的创新。依托高度弹性的参数结构,线性与非线性的矩阵变换,神经网络能适用于各式各样的数学场景,在各个类别的应用上我们都能看到神经网络的影子。其中著名的应用方向,包括自然语言处理、计算机视觉、机器学习、生物医疗、推荐系统、自动驾驶等等。图神经网络,广泛应用于社交关系、知识图谱、推荐系统、蛋白质分子建模,同样源自于对传统领域的创新,它的前身是图嵌入算法;而图嵌入算法又以图数据作为载体。这一关系,将贯穿本文始末,成为我们原创 2019-08-13 15:12:25 · 13394 阅读 · 12 评论 -
逻辑回归
概念E.n. Logistic Regression,经典的机器学习分类算法之一,与线性回归同属于广义线性模型 (generalized linear model)。逻辑回归的作用域在于整个实数集。经由参数 WWW 和 bbb (统称为 θ\thetaθ ) 线性变换后得出的实数,由特定函数投射到 [0,1][0,1][0,1] 的值域范围内:zi=f(Xi;θ)=f(WTXi+b)z_i=f...原创 2019-06-17 20:46:01 · 290 阅读 · 0 评论 -
集成学习综合
目录前言一、概念BaggingBoosting二、算法随机森林AdaBoostGBDTXGBoostLightGBMCatBoost前言关于与集成学习相关的基础决策树 CART 的相关原理这里不再介绍,请参考 决策树 ★★。一、概念集成学习的思想在于运用集体智慧,将多个弱学习器集成为一个强学习器,常见的集成类型有 Bagging 和 Boosting 两种,而对弱学习器的选择有三种:1)不...原创 2019-06-17 16:42:26 · 597 阅读 · 0 评论 -
支持向量机(SVM)综合
目录概念线性SVM对偶形式非线性SVM多分类SVR补充说明概念E.n. Support Vector Machine (SVM)。机器学习领域有一种概念叫 线性可分 (linearly seperable) —— 可以通过设置超平面将正负案例划分到超平面的两侧。e.g. 二维数据的超平面为一条线,三维数据的超平面为一个面。这里的 超平面 (hyperplane) 是支持向量机思想的核心:在超...原创 2019-07-05 22:05:02 · 544 阅读 · 0 评论 -
决策树综合
目录一、概念二、算法ID3C4.5CART三、剪枝一、概念算法特征ID3使用 信息增益 度量不纯度;可处理 离散型 数据;可用于 分类;每个节点衍生出 多个分支C4.5使用 信息增益率 度量不纯度;可处理 离散型/连续型 数据;可用于 分类;每个节点衍生出 多个分支CART使用 基尼系数 度量不纯度;可处理 离散型/连续型 数据;可用于 分类/回归;每个节...原创 2019-06-15 16:37:37 · 398 阅读 · 0 评论 -
贝叶斯优化
AutoML 走到今天,已演化出诸多行之有效的自动调参机制,**贝叶斯优化** (Bayes optimization) 是其中的优秀代表。原理上,贝叶斯优化通过 **高斯过程** (Gaussian process) 或 **随机森林** (random forest) 拟合超参数与损失函数间的隐藏关系,并在每一轮迭代完成时基于当前拟合函数给出最优参数的建议,进入下一次迭代。相对于网格搜索和随机搜索等无头绪的超参数尝试,贝叶斯优化显然更为高效和精确。可以预期的是,不久的将来,目前流行的网格搜索和随机搜索都原创 2019-08-29 21:27:29 · 2059 阅读 · 0 评论