- 博客(20)
- 收藏
- 关注
RSS订阅原创 线性回归
线性回归模型模型表示yi=xiTβ+ϵiy_i=x_i^T\beta+\epsilon_iyi=xiTβ+ϵiY=(y1,⋯ ,yN)TY=(y_1,\cdots,y_N)^TY=(y1,⋯,yN)TX=(X1,⋯ ,xN)T∈RN∗PX=(X_1,\cdots,x_N)^T \in R^{N*P}X=(X1,⋯,xN)T∈RN∗Pϵ=(ϵ1,⋯ ,ϵn)T∈RN\epsilon=(\epsilon_1,\cdots,\epsilon_n)^T \in R^Nϵ=(ϵ1,⋯,ϵn
2021-01-02 14:22:03
317
原创 统计学习概论
统计学习基于数据构建概率统计模型并运用模型对数据进行分析预测的一门学科对象： 数据要素： 模型，策略，算法（模型空间，选择准则，和模型学习方法）步骤：明确学习模型（模型属于某个函数的集合）评价准则训练最优模型目的： 基于数据构建概率统计模型，实现对数据的预测分析统计学习的分类基本分类1.监督学习：从标注模型学习预测模型的机器学习分类...
2021-01-02 10:08:58
141
原创 聚类方法
聚类分析：无监督学习方法目标：给定样本，依据他们的相似度或者距离，将其归并到若干个类或簇的数据分析问题聚类的基本概念相似度距离的度量样本矩阵：X=(x1,⋯ ,xn)T∈RN×pX=(x_1,\cdots,x_n)^T \in R^{N\times p}X=(x1,⋯,xn)T∈RN×p闵可夫斯基距离马式距离相关系数夹角余弦类或簇常用特征类的均值xˉG=1nG∑i=1nGxi\bar x_G=\frac{1}{n_G}\sum_{i=1}^{n_G}x_ixˉG=n
2020-12-20 16:45:41
223
原创 Support Vector Machine（支持向量机）
线性可分支持向量机线性可分问题： 可以在特征空间中找到一个分离的超平面wTx+b=0w^Tx+b=0wTx+b=0将特征空间划分为正例和负例。通过分类决策函数f(x)=sign(wTx+b)f(x)=sign(w^Tx+b)f(x)=sign(wTx+b)可以完美划分正负例函数间隔和几何间隔函数间隔：γ^i=yi(wTxi+b)\hat \gamma_i=y_i(w^Tx_i+b)γ^i=yi(wTxi+b)超平面关于训练数据集的函数间隔：γ^=miniγ^i\hat\gamma=min
2020-12-20 15:57:49
164
1
原创 集成学习
简介多个“弱学习器”，组合产生了最终结果，往往具备比较好的泛化特征简单分析考虑二分类问题y∈{−1,1}y \in \{-1,1\}y∈{−1,1}，假设基分类器的错误率为 ϵ\epsilonϵp(hi(x)≠g(x))=ϵp(h_i(x)\neq g(x))=\epsilonp(hi(x)=g(x))=ϵ利用投票法集成H(x)=sign(∑t=1Tht(x))H(x)=sign(\sum_{t=1}^Th_t(x))H(x)=sign(t=1∑Tht(x))错误率：P(H(x)≠
2020-12-20 11:58:03
502
1
原创 决策树
决策树一种if-then规则的集合，具有较好的可解读性，一种分类/回归方法决策树模型与学习模型定义构成节点：（1）内部节点：特征/属性/条件（2） 叶节点：类有向边if-then规则集合从根节点到叶节点，一条路径构成一条规则要求： 互斥且完备每一个实例可以也仅可以被一条规则覆盖决策树与条件概率分布决策树将空间划分为不相交的单元，每个单元对应一个条件概率分布，每条路径对应一个单元，每个叶节点强行分类到概率较大的那类决策树学习给定训练集：T={(x1,y1),⋯ ,(xn,y
2020-12-19 19:43:32
851
1
原创 Naive BayesClassifier(朴素贝叶斯)
朴素贝叶斯的学习和分类模型输入：x∈Rpx\in R^px∈Rp,p维特征向量输出y∈{1,2,⋯ ,K}y\in\{1,2,\cdots,K\}y∈{1,2,⋯,K},，类别标记训练数据集T={(x1,y1),⋯ ,(xn,yn)}T=\{(x_1,y_1),\cdots,(x_n,y_n)\}T={(x1,y1),⋯,(xn,yn)}模型假设(x,y)(x,y)(x,y)由p(x,y)p(x,y)p(x,y)产生条件独立性假设：P(X=x∣Y=ck)=∏i=1pp(Xi=x
2020-12-19 17:20:41
160
1
原创 分类： logistic regression
逻辑回归模型逻辑分布：x：continuous variable累计分布函数：F(x)=11+exp(−(x−μ)γ)F(x)=\frac{1}{1+exp(-\frac{(x-\mu)}{\gamma})}F(x)=1+exp(−γ(x−μ))1density function: f(x)=exp(−(x−μ)γ)γ(1+exp(−(x−μ)γ))2f(x)=\frac{exp(-\frac{(x-\mu)}{\gamma})}{\gamma(1+exp(-\frac{(x-\mu)}{\ga
2020-12-19 16:41:47
82
1
原创 广义线性模型
指数分布族f(y∣θ,ψ)=exp{yb(θ)−c(θ)a(ψ)+d(y,ψ)}f(y|\theta,\psi)=exp\{\frac{yb(\theta)-c(\theta)}{a(\psi)}+d(y,\psi)\}f(y∣θ,ψ)=exp{a(ψ)yb(θ)−c(θ)+d(y,ψ)}θ\thetaθ:典型参数，与y的均值μ\muμ有关KaTeX parse error: Undefined control sequence: \pso at position 1: \̲p̲s̲o̲:刻度参数，
2020-12-19 16:40:11
195
1
原创 Model Evaluation
confusion matrixtrue class \fitted class10total1TPFNP0FPTNN总体衡量accuracy（精度）TP+TNP+N\frac{TP+TN}{P+N}P+NTP+TNerror rate(误分率)FP+FNP+N\frac{FP+FN}{P+N}P+NFP+FN查准率（precision）TPTP+FP\frac{TP}{TP+FP}TP+FPTP查全率（recall）TPTP+FN
2020-12-19 16:30:02
194
1
原创 Proability and Bayes’ NET
Probability and Bayes’ NETProbabilistic ReasoningGeneral situation of Uncertaintyobseved variables(evidence)Agent knows certain things about the state of the worldunobserved variablesAgent needs to reason about other aspectsmodelAgent knows someth
2020-12-18 14:11:22
649
原创 Markov Models and Hidden Markov Models
Markov Models模型构成initial distrbutiontransition modelstationary assumption: 转移概率保持不变Markov propertyMini-Forward Algorithmmarginalize:o(dj)o(d^j)o(dj)存储Stationary distributionHidden Markov Modelsobserve some evidence at timestep influence the bel
2020-12-17 10:53:45
132
原创 reinforcement learning
Reinforcement learningoffline planning: agent have full knowledge of both transition function and rewards functiononline planning: agent have no prior knowledge transition function and rewards functionmust do exploritation and receives feedbacksample
2020-12-17 09:42:19
266
原创 K近邻法（k-nearest Neighbour）
introduction给定训练数据集，对于新输入的实例，在训练数据集中寻找与该实例最近邻的k个实例，采用投票法分类没有显式学习过程k近邻算法输入：T=(x1,y1),⋯ ,(xn,yn)T= {(x_1,y_1),\cdots,(x_n,y_n)}T=(x1,y1),⋯,(xn,yn)x∈Rnx\in R^nx∈Rn特征向量y∈CKy\in C_Ky∈CK分类输出：x属于的类别(1)根据给定的距离度量，在训练集TTT中，找到和xxx临近的kkk个点，涵盖这k个点的x的邻域为Nk(
2020-12-14 10:47:07
423
原创 LDA(线性判别分析）
introductionlda原理一个常见的LDA分类基本思想是假设各个类别的样本数据符合高斯分布，这样利用LDA进行投影后，可以利用极大似然估计计算各个类别投影数据的均值和方差，进而得到该类别高斯分布的概率密度函数。当一个新的样本到来后，我们可以将它投影，然后将投影后的样本特征分别带入各个类别的高斯分布概率密度函数，计算它属于这个类别的概率，最大的概率对应的类别即为预测类别。model assumptionπk\pi_kπk: class k 的先验概率∑i=1kπk=1\sum_{i=1}^
2020-12-14 10:12:20
215
原创 Markov Decision processes
Non-deterministic searchMarkov Decision processpropertya set of states Sa set of actions Astart statepossibly one or more terminal statesa discount factorγ\gammaγtransition function T(s,a,s′)T(s,a,s')T(s,a,s′): a probablity functionreward functio
2020-12-08 15:56:45
304
原创 Adversarial search
Gamesadversarial search problems/games: our agents have one or more adversaries who attempt to keep them from reaching their goalstype of gamesactions:deterministic or stochastic outcomesnumber of playerszero-sum games: all the utility will be a co
2020-12-07 12:07:29
609
原创 Constraint Satisfaction Problems
Constraint Satisfation problemsplanning v.s. identificationplanning problems: search problemfollowing path will result a goalpath has various costheuristics give problems a guidestate is a black-box,and goal test is performed on stateidentification
2020-12-07 10:45:07
799
原创 search problem
Search problemsconsista state space: all possilbel states in the worldworld state: all info about the state in the worldsearch state: only info needed for planninge.g. Pacman pathing / pacman eating dotssuccessor function:input: action,stateoutput
2020-12-05 15:54:14
624
原创 Introduction
Rational decisionsrational: maximize achieving pre-defined goals(maximize expected utility)rationality only concerned decisions not the processgoals: the utility of the outcomeAgentagent: perceives and actsrational agent: an entity that has goals
2020-12-03 18:40:25
79
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人