Andrew Ng机器学习笔记week3 逻辑回归

最新推荐文章于 2019-05-07 15:12:14 发布
最新推荐文章于 2019-05-07 15:12:14 发布
阅读量277 收藏
点赞数
分类专栏： machine-learning 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kiooooo/article/details/78674295
版权

Logistic regression

一、逻辑回归与分类

分类的例子
①分类：y=0或1;
h(x)≥阈值时，预测y=1;
反之，h(x)<阈值时，预测y=0.
h(x)可以大于1，也可以小于0.
②逻辑回归：0≤h(x)≤1

Hypothesis Representation

逻辑回归模型
这里引入一个sigmoid函数来表示h(x)

二、Decision boundary（决策边界）

线性决策边界
非线性的决策边界

三、Cost function & gradient descent

代价函数表示
y=0
代价函数
梯度下降

四、Advanced op&mization 进一步优化

优化算法
除了梯度下降之外，还包括共轭梯度法、BFGS和L-BFGS优化算法。

五、Multi-­‐class classifica&on: One-­‐vs-­‐all 多分类
多分类与二分类
比如：
天气：
Sunny,
Cloudy,
Rain,
Snow
邮件标签:：Work,
Friends,
Family,
Hobby
![one-vs-all解释](http://img.bl
og.csdn.net/20171130111348283?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQva2lvb29vbw==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

Regularization

overfitting–过拟合

线性回归与逻辑回归中的过拟合：
这里写图片描述

克服过拟合的方法：
这里写图片描述
①减少特征数量；②正则化

1、正则化的代价函数

这里写图片描述
其中λ为正则系数，取值过大会造成：
这里写图片描述

2、正则化的线性回归

代价函数
梯度下降
标准方程
这里写图片描述
3、正则化的逻辑回归
这里写图片描述

kiooooo
关注
专栏目录
Andrew Ng机器学习课程笔记--week4
marsggbo的博客
08-03 927
Neural Networks: Representation一、 内容概要 Neural Network Model Representation 1 Model Representation 2 Applications Examples and Intuitions 1 Examples and Intuitions 2 Multiclass Classification 二、重点&难点1
Andrew Ng机器学习课程笔记–week1(机器学习简介&线性回归模型)
marsggbo的博客
08-02 2242
Andrew Ng机器学习课程笔记–week1之前看过一遍，但是总是模模糊糊的感觉，也刚入门，虽然现在也是入门，但是对于一些概念已经有了比较深的认识（相对于最开始学习机器学习的时候）。所以为了打好基础，决定再次学习一下Andrew Ng的课程，并记录笔记以供以后复习参考。1. 内容概要 Introduction 什么是机器学习 监督学习 非监督学习 Linear Regression with O
Andrew Ng机器学习课程笔记--week3
marsggbo的博客
08-03 1522
Logistic Regression一、内容概要 Classification and Representation Classification Hypothesis Representation Decision Boundary Logistic Regression Model 损失函数（cost function） 简化损失函数和梯度下降算法 Advanced Optimizatio
机器学习笔记week3(Andrew NG)
ice_martin的博客
03-14 1598
机器学习笔记week3(Andrew NG)martin机器学习笔记week3Andrew NG 逻辑回归 逻辑回归模型 多分类 多分类 解决过拟合问题 过拟合 带正则化项的cost function 带有正则化项的线性回归 带有正则项的逻辑回归 逻辑回归逻辑回归模型逻辑回归表达式：hθ(x)=g(θTx)h_\theta(x) = g(\theta^Tx) z=θTxz = \theta^Tx
Andrew Ng-深度学习-第一门课-week3（激活函数和BP）
林夕
05-07 315
1.2.2 第一位代表第一门课，第二位代表第几周，第三位代表第几次视频。编号和视频顺序对应，有些章节视频内容较少进行了省略。对内容进行简单的总结，而不是全面的记录视频的每一个细节，详细可见[1]。 1.神经网络和深度学习 1.3 浅层神经网络 1.3.1 神经网络概述 上一周已经学过了逻辑回归，LR可以认为是简单的一层NN。假设我们有一个两层NN： 这个神经网络前向传播的计算过程如下： 第一层...
机器学习第3周编程作业
senketh的博客
08-04 1709
function plotData(X, y) %PLOTDATA Plots the data points X and y into a new figure % PLOTDATA(x,y) plots the data points with + for the positive examples % and o for the negative examples. X is as
Andrew NG 机器学习 笔记-week3-逻辑回归
无关风月
08-28 640
一、分类和表示（Classification and Representation）1.1 Classification(分类问题)在分类问题中，你要预测的变量 y 是离散的值，我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法，这是目前最流行使用最广泛的一种学习算法。在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封电子邮件
Andrew Ng机器学习笔记week6 机器学习的应用与设计
kiooooo的博客
11-30 322
机器学习应用中的建议1、如何debug一个学习算法2、如何评估一个假设h(x) 3、模型的选择、训练集、检验集、测试集 将数据集合分为三部分，训练集占60%，检验集（Class Validation）占20%，最后测试集占20%4、bias VS variance 5、正则化和偏差（bias）、方差（variance） 6、神经网络的过拟合7、学习曲线 机器学习系统设计垃圾分类
Andrew Ng机器学习笔记week1 线性回归
kiooooo的博客
10-18 357
Andrew Ng机器学习笔记week1第一周主要是对机器学习进行简单的介绍和线性回归的知识点：一、Introductionmachine learning的举例 machine learning定义和例题 machine learning分类 - Supervised learning right answer given，有标记的 1.regression：c
Andrew Ng机器学习课程笔记--week2（多元线性回归&正规公式）
06-20
在Andrew Ng的机器学习课程中，Week2主要讲解了多元线性回归及其相关的优化方法，包括梯度下降和正规公式。 1. 多元线性回归： 多元线性回归是单变量线性回归的扩展，它考虑了多个特征（自变量）对目标变量（因变量...
matlab吴恩达代码-Andrew.Ng-ML-Study:吴恩达机器学习\深度学习，学习笔记和代码
05-26
当初免费申请了coursera:深度学习的课程只做了week1到week3的作业就去忙期末了。没有做week4结果几个月后看课程已经关闭了要重新购买或申请。。。。没有得到结课证书血亏！！！ 吴恩达机器学习的作业太老了，原始...
Andrew Ng机器学习课程笔记--汇总
marsggbo的博客
08-16 3813
转载请附上原链接。 必须抱怨一下CSDN。。太垃圾了，连文章标题都不能修改。Andrew Ng机器学习课程笔记–week1(机器学习简介&线性回归模型) Andrew Ng机器学习课程笔记–week2(多元线性回归&正规公式） Andrew Ng机器学习课程笔记–week3(逻辑回归&正则化参数) Andrew Ng机器学习课程笔记–week4(神经网络) Andrew Ng机器学习课程笔记–
Andrew Ng机器学习笔记ex4 神经网络学习
kiooooo的博客
11-30 1355
nnCostFunction.mfunction [J grad] = nnCostFunction(nn_params, ... input_layer_size, ... hidden_layer_size, ...
Andrew Ng机器学习笔记ex6 支持向量机SVM
kiooooo的博客
12-11 1085
gaussianKernel.mfunction sim = gaussianKernel(x1, x2, sigma) %RBFKERNEL returns a radial basis function kernel between x1 and x2 % sim = gaussianKernel(x1, x2) returns a gaussian kernel between x1 an
Andrew Ng机器学习笔记ex1 线性回归
kiooooo的博客
11-30 652
代价函数计算 computeCost.mfunction J = computeCost(X, y, theta) %COMPUTECOST Compute cost for linear regression % J = COMPUTECOST(X, y, theta) computes the cost of using theta as the % parameter for lin
Andrew Ng机器学习笔记ex7 K-means聚类和PCA
kiooooo的博客
12-11 554
findClosestCentroids.mfunction idx = findClosestCentroids(X, centroids) %FINDCLOSESTCENTROIDS computes the centroid memberships for every example % idx = FINDCLOSESTCENTROIDS (X, centroids) returns t
Andrew Ng机器学习笔记ex2 逻辑回归
kiooooo的博客
11-30 502
sigmoid函数 sigmoid.mfunction g = sigmoid(z) %SIGMOID Compute sigmoid function % g = SIGMOID(z) computes the sigmoid of z. % You need to return the following variables correctly g = zeros(size(z)); %
Andrew Ng机器学习笔记ex3 神经网络
kiooooo的博客
11-30 394
1、向量化正则化的逻辑回归 lrCostFunction.mfunction [J, grad] = lrCostFunction(theta, X, y, lambda) %LRCOSTFUNCTION Compute cost and gradient for logistic regression with %逻辑回归实现手写数字识别：lrCostFunction.m和oneVsAll.m和
Andrew Ng机器学习笔记ex8 异常检测和推荐系统
kiooooo的博客
12-11 380
estimateGaussian.mfunction [mu sigma2] = estimateGaussian(X) %ESTIMATEGAUSSIAN This function estimates the parameters of a %Gaussian distribution using the data in X % [mu sigma2] = estimateGaussian
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值