phil的博客

    神经网络相比于传统机器学习的最大的特点在于极大地降低了特征提取的难度。但应用过程中仍然存在两个难点：优化困难：神经网络模型往往拟合的是一个非凸函数，难以找到全局最优值点，且现有的模型大多参数较多，模型复杂，训练效率较低。...

    隐马尔可夫模型是一种可用于序列标注问题的统计学习模型。核心如下图：    对于序列标注问题，单词序列是观测序列，单词对应的标签序列是隐藏序列，也就是说每一个单词都对应一个隐状态，产生句子的过程实际上是隐状态之间的状态转移。对于每个隐状态，产生各个单词的概率不同，例如词性标注问题中"动词"这个标签产生love...

    还记得前面说感知机原理时有提到过支持向量机，回忆下感知机是什么，是一种线性分类器，算法的目标是对于线性可分的数据，得到一个对训练集分类完全正确的超平面，为了得到该超平面，将loss设计为所有错分类样本到分割超平面的距离，这样如果是线性可分的数据，最后能够得到一个正确分割训练集的超平面。    感知机的loss...

    原理这里就不赘述了。见参考链接4    说一些自己学习时困惑的地方，如果有不对的地方，还望各位评论指正。    下面从w的求解开始说起，下面是模型的对数似然函数：Ψ(w)=∑x,yP~(x,y)∑i=1nwifi(x,y)−∑xP~(x)logZw(x)\Psi (...

    逻辑斯蒂回归，又被称为对数几率回归。    先说为什么被称为对数几率回归，什么是几率？假设一个事件发生的概率为p则事件发生的几率为p1−p\frac {p}{1-p}1−pp​，那么自然而言对数几率也就表示为log(p1−p)log(\frac {p}{1-p})log(1−pp​)，现在考虑二分类问题，假设...

1. 对于决策树的两种理解：由if-then规则组成的集合定义在特征空间上的类的条件概率分布2. 决策树的三大要素：特征选择，树的生成，树的剪枝常用的决策树生成算法有： ID3,C4.5,CART要素注意要点特征选择信息增益(ID3)：过多关注取值可能较多的属性信息增益比(C4.5)：信息增益除以该属性的熵，不再关注取值可能较多的属性基尼指数(CART)：生...

    朴素贝叶斯需要注意的几点：它是生成模型，虽然在实现时是通过计算P(X∣Y)P(Y)P(X|Y)P(Y)P(X∣Y)P(Y)求出各个label对应的值然后将结果最大的label作为预测label，这是因为计算过程中忽略了P(X)P(X)P(X)的作用。实质上计算的依据是：P(Y∣X)=P(X,Y)P(X)=P(X∣Y)P(Y)P(X)P(Y|X)...

    K近邻算法，顾名思义就是根据k个距离最近的节点的信息对新的节点的标签进行预测。具体内容见代码中详细的注释。参考链接：https://github.com/tsoding/kdtree-in-python...

    感知机理论知识链接。#!/usr/bin/env python# -*- encoding: utf-8 -*-"""Created on 2019/12/31 21:17@author: phil"""import torch.nn as nnimport torchimport numpy as npimport torch...

    下图是一个典型的二分类问题，如果现在需要建立模型来根据数据点的x1,x2x_1,x_2x1​,x2​的值对它所属的类别进行判定该怎么做？    通过观察，被标为叉的数据点的x1,x2x_1,x_2x1​,x2​的取值均较大，那我们是否可以通过计算x1+x2x_1+x_2x1​+x2​的值来对数据进行分类，答...

    AdaBoost是boosting方法的一种，boosting的思路就是通过在训练过程中改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，从而提高分类性能。这里的改变训练样本的权重，其实本质上改变的是错误率的计算，也就是加大权重大的样本对错误率的影响，也就是常说的使得分类错误的样本得到更多的关注。   &...

目录1. 定义1.0 模式识别：1.1 机器学习：1.2 计算机视觉：2. 联系2.0 模式识别 vs 机器学习:2.1 模式识别 vs 计算机视觉:3. 参考链接：1. 定义1.0 模式识别：The field of pattern recognition is concerned with the automatic discovery of regularities in data ...