机器学习
lancetop-stardrms
这个作者很懒,什么都没留下…
展开
-
机器学习学习笔记(六)—— 利用神经网络(Neural Networks)解决多类分类问题(Multi-class Classification)
什么是神经网络(Neural Networks):参考链接:https://blog.csdn.net/qq_31192383/article/details/77145993符号定义:If network hasunits in layerjandunits in layerj+1, thenwill be of dimension.如果网络...原创 2019-05-02 22:52:19 · 2124 阅读 · 0 评论 -
机器学习学习笔记(十五)—— 大规模数据训练/随机梯度下降(stochastic gradient descent)/小批量梯度下降(mini-batch gradient descent)
当数据量很大,达到100000000左右时:1.检查使用小数据集是否更合适,比如1000左右的子集。2.使用随机梯度下降,之前介绍的梯度下降算法是考虑了所有训练集,在每一次迭代都要对所有数据进行求和计算,这也叫做批量梯度下降(batch gradient descent)。随机梯度下降(stochastic gradient descent)-以线性回归问题举例:特性:在...原创 2019-05-17 23:48:42 · 930 阅读 · 0 评论 -
机器学习学习笔记(十四)—— 推荐系统(recommender systems)/协同过滤算法(callaborative filtering)
一个电影推荐系统的例子:符号定义:: 用户数量: 电影数量n: 电影特征种类r(i, j): 用户 j 是否对电影 i评分(0/1)y(i, j):用户 j 对电影 i 的评分,未评分为undefined: 用 j 对应的参数向量(): 电影 i 的特征向量()For user j, movie i, predicted rating:: 用户j评价过...原创 2019-05-16 17:36:36 · 515 阅读 · 0 评论 -
机器学习学习笔记(十三)—— 异常检测(Anomaly detection)
异常检测:为特征x定义一个概率模型P(特征落在正常x范围的概率),如果 P(x)<=就认为是异常的。高斯/正太分布(Gaussian/Normal distribution):Say. if x is a distributed gaussian with mean, variance., x服从高斯分布.如下图,决定了轴线位置,决定钟形曲线的宽度:特性...原创 2019-05-16 15:03:54 · 1712 阅读 · 0 评论 -
机器学习学习笔记(十)—— 支持向量机(SVM)
支持向量机(Support Vector Machine):支持向量机简称SVM,与逻辑回归和神经网络相比,在学习复杂的非线性方程时,提供了一种更为清晰、更加强大的方式。先来看假设函数:if y=1, we want,.if y=0, we want,.那么类似的代价函数:::我们根据逻辑回归的代价函数变形得到SVM的代价函数:Log...原创 2019-05-13 16:33:26 · 316 阅读 · 0 评论 -
机器学习学习笔记(十二)—— 无监督学习/维数约减(dimensionality reduction)
为什么使用维数约减:应用于数据压缩,数据压缩不仅通过压缩数据使得数据占有更少的计算机内存和硬盘空间,还能给算法提速。什么是维数约减:给出数据集:{},. 使得数据集转换成:{ },, k <= n. 尽量使得k=2/3,这样便于将数据可视化。主成分分析法(Principal Component Analysis, PCA):就2D到1D来举例,就是从平面上寻找...原创 2019-05-15 14:36:40 · 926 阅读 · 0 评论 -
机器学习学习笔记(九)—— 评价学习算法的好坏
偏斜类(skewed classes)的问题:当分类问题,0或1这样的,1占99%,0占1%,这样结果比较极端的,称为偏斜类问题。Precision(查准率) and recall(召回率) are defined according to:You have trained a logistic regression classifier and plan to make pr...原创 2019-05-10 09:35:52 · 291 阅读 · 0 评论 -
机器学习学习笔记(十一)—— 无监督学习(Unsupervised Learning)/K均值算法(K-means)
什么是无监督学习:无监督学习只给出未标记的数据集,通过学习来找出数据的结构关系。K均值算法(K-means):K均值算法是现在最为广泛使用的聚类算法。K均值算法是如何运作的:先从K=2的例子来看1.设置2个聚类中心点:2.对每个绿色点,谁更接近红色叉还是蓝色叉进行染色:3.移动聚类中心点,红色叉移动到所有红色点均值中心处,蓝色叉移动到所有蓝色点均值中心处:...原创 2019-05-14 17:00:00 · 820 阅读 · 0 评论 -
机器学习学习笔记(十六)—— 图像识别中的应用
以OCR识别举例:一个OCR识别程序通常包括四个步骤:图像检测、图像分割、文字识别、错误纠正。第一步,图像检测(滑动窗分类器/sliding windows):比如检测图片中的行人,我们定义一个比例一定的方块,然后每次截取一块图片进行输入,并且每次以一定的步长(step size/stride parameter)来截取图片。然后调整滑动窗的大小,再次扫描图片。。。第二步,...原创 2019-05-19 00:42:35 · 2121 阅读 · 0 评论 -
机器学习学习笔记(七)—— 使用反向传播(Backpropagation)算法训练神经网络(Neural Network)
代价函数(cost function)定义:符号定义:L: 网络的最大层数.: 在第l层的神经元个数(不包括偏置单元).K: 输出层神经元个数或者分类数.神经网络中有K个输出,通过前面的逻辑回归问题的多分类问题分析可以知道,K个输出对应的K个假设函数。那么我们用来表示输出假设函数。一个正则化之后的逻辑回归代价函数如下:那么应用于神经网络的代价函数如下:...原创 2019-05-06 17:24:45 · 1138 阅读 · 0 评论 -
机器学习学习笔记(八)—— 评估学习算法(解决高偏差/高方差问题)
选择多少次方的多项式作为假设函数模型:In order to choose the model of your hypothesis, you can test each degree of polynomial and look at the error result:One way to break down our dataset into the three sets is:训...原创 2019-05-08 15:19:12 · 827 阅读 · 0 评论 -
机器学习学习笔记(五)—— 利用正则化(Regularization)解决过度拟合(Overfitting)问题
过度拟合(overfitting)和欠拟合(underfitting):第一张图片对训练数据没有很好的匹配,所以说是欠拟合的;中间的图片能大致的描述训练数据,所以说是正常的;最后一张图片虽然对所有的训练数据都拟合得很好,但是没有了通用性,所以说是过度拟合的。有两种方法可以很好的解决过度拟合问题,There are two main options to address the issu...原创 2019-04-30 14:40:49 · 876 阅读 · 0 评论 -
机器学习学习笔记(四)—— 逻辑回归(分类)问题
分类问题(classification)概述:The classification problem is just like the regression problem, except that the values we now want to predict take on only a small number of discrete values. For now, we will ...原创 2019-04-30 11:33:04 · 586 阅读 · 0 评论 -
机器学习学习笔记(三)——Octave
Installing Octave on WindowsUse this link to install Octave for windows:http://wiki.octave.org/Octave_for_Microsoft_WindowsOctave on Windows can be used to submit programming assignmentsin this...原创 2019-04-24 22:18:43 · 989 阅读 · 0 评论 -
机器学习学习笔记(二)——梯度下降法和正规方程法解决多项式回归问题
对假设函数(hypothesis function)建模:在机器学习中,现有一个数据集,k个特征。大致画出特征点与结果集的映射。预测一个假设函数模型,如果用当前的k个特征,不一定能符合假设函数的公式:We cancombinemultiple features into one. For example, we can combinex_1x1andx_2x2i...原创 2019-04-24 17:42:46 · 1236 阅读 · 0 评论 -
机器学习学习笔记(一)——多元线性回归(Multivariate Linear Regression)
多元线性回归(multivariate linear regression):在线性回归问题(Linear regression)中,引入多个特征变量(Multiple Features)作为输入,也被称为“多元线性回归(Multivariate Linear Regression)”.符号定义:假设函数(hypothesis function):The multivariab...原创 2019-04-24 16:57:38 · 2144 阅读 · 0 评论 -
机器学习学习笔记(十七)—— 优化算法概述
一、概观scipy中的optimize子包中提供了常用的最优化算法函数实现。我们可以直接调用这些函数完成我们的优化问题。optimize中函数最典型的特点就是能够从函数名称上看出是使用了什么算法。下面optimize包中函数的概览:1.非线性最优化fmin -- 简单Nelder-Mead算法fmin_powell -- 改进型Powell法fmin_bfgs -- 拟Newton法f...转载 2019-06-21 14:20:14 · 3543 阅读 · 1 评论