- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 机器学习(Machine Learning)笔记系列9：XGBoost
目录Boosting 算法的思想XGboost重新定义一棵树树的复杂度定义回到目标函数结构分数计算示例1. 暴力破解2. 贪心算法Boosting 算法的思想如上图，第一棵树的输出结果是Y1，第二棵树的输出是Y2,第三棵树的输出是Y3，而输入每次都是之前树的残差，具体课看下表：编号t输入数据XXX目标YYY输出数据ft(.)=Y^f_t(.)=\hat{Y}ft(.)=Y^...
2019-08-02 10:17:17
279
原创 机器学习(Machine Learning)笔记系列8：推荐系统(Recommender System)与矩阵分解(Matrix Factorization)
目录
2019-07-31 16:21:47
688
原创 机器学习(Machine Learning)笔记系列7：K-means（聚类）
目录定义应用场景K-means算法K-means算法的一些特性关于K-means的几个问题关于the Elbow Sum-of-Squares MethodK-means++代码示例定义K-Means算法是一种无监督学习的聚类算法，它实现起来简单，聚类效果好，因此应用很广泛。所谓无监督学习就是仅有数据，没有数据标签，算法自己发现数据的规律（模式），简单而言，就是把相似的物体聚在一起。应用场景...
2019-07-30 19:26:25
258
原创 机器学习(Machine Learning)笔记系列6：决策树（decision tree）与随机森林（random forest）
目录决策树定义ID3决策树定义 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node）和有向边（directed edge）组成。结点有两种类型：内部结点（internal node）和叶结点（leaf node）。内部结点表示一个特征或属性，叶结点表示一个类。 用决策树分类，从根结点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其子结点；这时，每一个子结...
2019-07-30 16:07:09
801
原创 机器学习(Machine Learning)笔记系列5：支持向量机（SVM）
目录什么是支持向量机线性可分支持向量机与硬间隔最大化什么是支持向量机 支持向量机（support vector machines，SVM）是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convex quadratic ...
2019-07-10 23:11:46
424
1
原创 ML_CV面试求职1，持续更新20190710
目录Subject1: 面试过亚马逊、特斯拉、三星、优步、华为等大公司（20190710）偏差和方差之间的协调(权衡)是什么?什么是梯度下降?解释过拟合和欠拟合以及如何与之对抗?你如何对抗维度的诅咒?什么是正则化，我们为什么要使用它，并给出一些常见方法的例子?解释主成分分析法 (PCA)?为什么在神经网络中ReLU比Sigmoid更好更常用 ？什么是数据标准化，我们为什么需要它？解释降维，在哪里会...
2019-07-10 17:21:31
161
原创 数据结构与算法1：二叉树(binary_tree)的前、中、后序（深度优先）和广度优先遍历及python代码实现
目录二叉树的前中后序遍历定义用递归的方法创建树和遍历树二叉树的前中后序遍历定义树（英语：Tree）是一种无向图（undirected graph），其中任意两个顶点间存在唯一一条路径。或者说，只要没有回路的连通图就是树二叉树（英语：Binary tree）是每个节点最多只有两个分支(不存在分支度大于2的节点)的树结构。通常分支被称作“左子树”和“右子树”。二叉树的分支具有左右次序，不能...
2019-07-10 10:51:47
502
原创 机器学习(Machine Learning)笔记系列4：朴素贝叶斯（Naive Bayes）
目录什么是朴素贝叶斯什么是朴素贝叶斯朴素贝叶斯(naïve Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单,学习与预测的效率都很高,是一种常用的方法。...
2019-07-04 16:21:13
255
原创 机器学习(Machine Learning)笔记系列3：线性回归(linear regression)与逻辑回归(logistic regression)
目录线性回归(Linear Regression)概念应用具体方法证明$\hat{\beta}=\left(X^{T} X\right)^{-1} X^{T} Y$逻辑回归(Logistic Regression)概念线性回归(Linear Regression)概念线性回归是一种通过已知属性的线性组合来预测输出线性模型，另一种更专业的定义：线性回归是利用线性回归方程的最小二乘函数对一个或多...
2019-07-04 09:54:10
254
原创 深度学习基础1：神经网络反向传播(BackPropagation, BP)算法
目录链式求导法则神经网络结构神经网络前向传播反向传播的网络结构神经网络反向传播推导偏置链式求导法则方程1. f(x,y)=0f(x,y)=0f(x,y)=0方程2. g(x,y)=0g(x,y)=0g(x,y)=0方程3. z(f,g)=0z(f,g)=0z(f,g)=0计算zzz对x,yx,yx,y的偏导：∂z∂x=∂z∂f∗∂f∂x+∂z∂g∗∂g∂x\frac{\partial ...
2019-07-01 13:21:16
647
原创 机器学习(Machine Learning)笔记系列2：kNN
目录kNN的含义kNN三要素k值的选择距离度量分类决策规则TD-TreekNN的含义k近邻法（k-nearest neighbor, kNN）是一种基本的分类和回归方法。kNN算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最近邻的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类[1]。注意： 训练kNN分类器时实际上并没有对train data进...
2019-06-29 20:54:46
306
3
原创 机器学习(Machine Learning)笔记系列1：概括
@[TOC](机器学习(Machine Learning)笔记系列1：概括)机器学习(ML)的定义从广义上来说，机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。ML的分类ML分为监督式学习与非监督式学习（还有半监督式学习，这里不作描述）。监督式学习定义：简单来说就是...
2019-06-28 19:58:32
272
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人