机器学习
文章平均质量分 87
Statistic_Code
记录学习点滴,分享生动观点
展开
-
统计学习中的Kernel Function——【Kernel density estimation】【Kernel Regression】
统计学习中的Kernel Function0.引入假设随机变量XXX来自某个未知分布F(X)F(X)F(X) , 我们有一组XXX的抽样观测: x1,...xnx_1,...x_nx1,...xn .我们的问题是: 该如何估计它背后密度函数f(x)f(x)f(x) ?1. Kernel density estimation(无监督学习)1.1思想我们已经假设分布函数为F(x)F(x)F(x) , 密度函数为f(x)f(x)f(x).估计F(x)F(x)F(x)的朴素想法就是用样本的经验分布原创 2021-04-27 18:11:46 · 268 阅读 · 0 评论 -
《李航:统计学习方法》学习记录(一:统计学习方法概论之1.1统计学习)
第一章:统计学习方法概论1.1统计学习(or统计机器学习) 本章简要叙述统计学习方法中的一些基本概念1. 统计学习的定义:统计学习是用计算机 基于数据 构建概率统计模型 对数据进行分析预测的一门学科2. 统计学习的特点:(1)统计学习是基于计算机及网络的;(2)统计学习是以数据为研究对象的;(3)统计学习的目的是对数据进行预测分析;(4)统计学习是以方法为中心的;(5)统计学习是统计学、概率论、信息论、计算理论、最优理论及计算机科学等多个领域的交叉学科。统计学习可以看做是计算机系统原创 2020-06-26 17:51:29 · 163 阅读 · 0 评论 -
机器学习系列---用于分类的回归(逻辑回归)
披着回归的外衣做着分类的工作–逻辑回归1.背景机器学习要解决的问题大致分为两类: 预测 or 分类.预测问题常用回归模型,分类问题可以用决策树、支持向量机等模型。我们今天要讲的逻辑回归虽然披着回归的外衣,但其实做着分类的工作。2.逻辑回归到底是什么?2.1来源和思想 对于一个二分类问题,属性变量为x1,x2,...,xmx_1,x_2,...,x_mx1,x2,...,xm,分类标签为y∈y∈y∈{0,1}。 很自然的,我们会忍不住建立 yyy 和 属性值 x1,x2原创 2020-05-24 09:36:58 · 325 阅读 · 0 评论 -
机器学习系列---从【奥卡姆剃刀原则】到【没有免费午餐定理】
在具体讲没有免费午餐定理之前,先来看一下崇尚简单的【奥卡姆剃刀原则】:"奥卡姆"是提出者的名字,"剃刀"指的是剃除旧社会思想的意思,由此可以看出【奥卡姆剃刀原则】是源自哲学领域。既然是剔除旧社会思想,也就是崇尚简单,这也就是奥卡姆剃刀原则的内容:“简单的是最好的”。其实这个思想应用在机器学习领域时是有很多人有疑问的:“真的简单的就是最好的吗?”这就引出了下面的"没有免费午餐定理(NFL)":没有免费午餐定理【No Free Lunch Theorem】:如果我们不对特征空间做任何先验假设,那么所原创 2020-05-31 23:05:27 · 418 阅读 · 0 评论