我有一颗大橙子-CSDN博客

原创 ML - Coursera Andrew Ng - Week7 & Ex6 - SVM - 笔记与代码

Week 7主要讲解了支持向量机（Support Vector Machines）的原理与使用。SVM本质上是一种Large Margin Classification，其决策边界是寻找与学习样本的最大边距。SVM可以进行线性分类（No kernel, or linear kernel），也可以通过核（Kernels）方法进行分线性分类。核方法将学习样本输入映射为高维特征空间，即意味着增加特征的...

2019-02-20 13:40:41 325

原创 ML - Coursera Andrew Ng - Week6 & Ex5 - System Design - 笔记与代码

Week 6主要讲解了机器学习的系统设计与评估。评估一个学习算法的好坏，我们需要评估假设函数。评估假设函数是先在training set中学习θ并最小化Jtrain(θ)J_{train}(θ)Jtrain(θ)，然后计算test set的errorJtest(θ)J_{test}(θ)Jtest(θ)。为了使test set error成为generalization error，我们增加...

2019-02-19 15:35:22 273

原创 ML - Coursera Andrew Ng - Week1 & Week2 & Ex1 - Linear Regression - 笔记与代码

Week 1和Week 2主要讲解了机器学习中的一些基础概念，并介绍了线性回归算法（Linear Regression）。机器学习主要分为三类：监督学习（Supervised Learning)：已知给定输入的数据集的输出结果。监督学习是学习输入和输出之间的映射关系。根据输出值的类型监督学习问题可分为回归（regression）问题和分类（classification）问题。如果输出值是连续...

2019-02-09 09:19:45 278

原创 ML - Coursera Andrew Ng - Week5 & Ex4 - Neural Network 2 - 笔记与代码

Week 5主要讲了神经网络的反向传播算法（Backpropagation Algorithm）。如上一节所讲，前馈传播算法是根据输入层向量x，各层权重矩阵Θ\ThetaΘ ，以及激活函数逐层从左向右计算，最终得到输出层结果。反向传播算法则是为了找出使损失函数J(Θ)J(\Theta)J(Θ)最小化的最佳Θ\ThetaΘ ，BP为优化函数（如梯度下降、其它高级优化算法）提供梯度值，通过从右向左来逐...

2019-02-08 13:12:11 323

原创 Knuth-Morris-Pratt Algorithm - KMP算法 - Pattern Search

KMP算法是一种优化的字符串搜索算法。对于给定的长度为n的字符串text，需要从中搜索长度为m的字符串pattern。如果用Brute Force遍历字符串，以每个字符为开始匹配pattern的话，最差时间复杂度为O(m*(n - m + 1))。作为优化，KMP算法的最差时间复杂为O(n)。KMP算法详细解释可看KMP Algorithm for Pattern Searching。用到的核心...

2019-01-30 09:53:57 518

原创 ML - Coursera Andrew Ng - Week4 & Ex3 - Neural Network 1 - 笔记与代码

Week 4主要讲解了神经网络（Neural Network, NN），用于处理更复杂的非线性回归问题。对于non-linear hypothesis，我们可以构建多项式来搭建模型，但是如果有很多features的话，logistic regression的代价会很昂贵，神经网络就可以用来处理更复杂的非线性模型。Model Representation通过神经网络来表达假设函数。基础的神经由...

2019-01-29 12:20:59 223

原创 C++ - 正则表达式 regex

正则表达式（Regular Expression）在很多方面都会用到，支持多种语言，例如NLP中的数据处理。C++11标准增加了regex支持，网上有很多关于正则表达式的语法和字符含义教学，我也记不住经常得重新找资料有点烦，这里总结一下C++中regex的基本操作与如何构建自己的模式pattern。还有很多在线验证正则表达式的工具，可以借助一下。正则操作1. 头文件#include <...

2019-01-27 09:04:00 1019

原创 ML - Coursera Andrew Ng - Week3 & Ex2 - Logistic Regression - 笔记与代码

Week 3主要讲解了逻辑回归算法（Logistic Regression），用于处理classification问题。虽然也叫回归，但与Linear Regression不同，是历史命名的问题。在最基本的二分类问题中，输出值为0或1。逻辑回归将线性回归假设函数通过Sigmoid function（Logistic function）映射到区间（0，1）中，如果假设函数值小于0.5则映射为0，不...

2019-01-24 19:57:59 318

我有一颗大橙子的博客