【学习笔记】【Coursera】【MachineLearning】Neural Networks

课程地址:https://www.coursera.org/learn/machine-learning/home/week/4

Representation

Scene

  • deal with non-linear classification/hypotheses with hundreds of thousands of features
  • belongs to classification

Model Representation

    1. Neuron model: Logistic unit (no hidden layer)
      Neuron model: Logistic unit (no hidden layer)
      • input vector: x=x0x1x2x3 weights/parameters: θ=θ0θ1θ2θ3
      • bias unit: x0=1
      • hΘ(x)=11+ez;z=ΘTx : sigmoid (logistic) activation function
    2. Neural Network (input layer 1; hidden layer 2; output layer 3)
      Neural Network
      • a(l)i = “activation” of unit i in layer l
      • L = total no. of layers in network
      • sl = no. of units(not counting bias unit) in layer l
      • bias unit: x0=1;a(2)0=1 (not drawing in the picture)
      • a(2)1=g(Θ(1)10x0+Θ(1)11x1+Θ(1)12x2+Θ(1)13x3)
      • hΘ(x)=a(3)1=g(Θ(2)10a(2)0+Θ(2)11a(2)1+Θ(2)12a(2)2+Θ(2)13a(2)3)
      • Θ(l) = matrix of weights controlling function mapping from layer j to layer l+1, will be of dimension sl+1×(sl+1)
      • e.g.Θ(1)=Θ(1)10Θ(1)20Θ(1)30Θ(1)11Θ(1)21Θ(1)31Θ(1)12Θ(1)22Θ(1)32Θ(1)13Θ(1)23Θ(1)33;size=3×4
      • {x(i),y(i)} = ith input
    1. in Multi-class classification(K classes & K >= 3)
      yRK , hΘ(x)RK , SL=K
      y(i)k = kth value of ith target vector
      (hΘ(x(i)))k = kth value of ith output vector
      e.g.y(1)=100y(2)=010y(3)=001y(1)1=1
    2. in Binary classification(K = 1 or 2)
      y0 or 1 , hΘ(x)R , SL=1

Vectorization

z(2)1=Θ(1)10x0+Θ(1)11x1+Θ(1)12x2+Θ(1)13x3; a(2)1=g(z(2)1)
z(2)=Θ(1)x; a(2)=g(z(2)) => a(2)=(a(2)1a(2)2a(2)3)
Add a(2)0=1
z(3)=Θ(2)a(2); a(3)=g(z(3))

Cost Function

J(Θ)=1m[i=1mk=1Ky(i)klog(hΘ(x(i)))k+(1y(i)k)log(1(hΘ(x(i)))k)]+λ2ml=1L1i=1slj=1s(l+1)(Θ(l)ji)2

  1. 分别取输出向量(output)与目标向量(target)的一个对应元素( (hΘ(x(i)))k y(i)k )代入式中求值
    C=y(i)klog(hΘ(x(i)))k+(1y(i)k)log(1(hΘ(x(i)))k
  2. 计算所有矩阵中的所有元素求得cost
    J(Θ)=1mi=1mk=1KC
  3. 加上正则化项(regularization term),其值为所有 Θ 矩阵元素的平方和,再乘以惩罚率 λ Θj0 对应偏项bias term,通常不计入计算)
    +λ2ml=1L1i=1slj=1s(l+1)(Θ(l)ji)2
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Coursera机器学习是由斯坦福大学教授Andrew Ng主讲的一门在线课程,旨在向学习者介绍机器学习的基本概念、算法和应用。该课程涵盖了监督学习、无监督学习、深度学习等多个方面,通过理论讲解和实践编程作业,帮助学习者掌握机器学习的基本原理和实践技能。该课程是Coursera平台上最受欢迎的课程之一,也是机器学习领域入门的重要资源之一。 ### 回答2: Coursera机器学习是由斯坦福大学Andrew Ng教授设计并教授的在线课程。这门课程被认为是公认的机器学习入门教材之一,也是Coursera平台最受欢迎的课程之一。 这门课程涵盖了机器学习领域中最基础的知识和技术,包括监督学习、无监督学习以及神经网络等。学生可以通过该课程了解到如何采集和处理数据、如何训练模型、如何评估模型的性能等。此外,课程还涉及到机器学习中一些实用的技术,如正则化、梯度下降等。 该课程受到了全球范围内的认可和青睐,许多学生、工程师、数据科学家等都受益于该课程。由于该课程的知识点全面、深入浅出、容易理解和学习,在业内和学术界都广受赞誉,拥有较高的知名度和价值。 总之,Coursera机器学习是一门非常好的课程,对于那些对机器学习感兴趣的人来说,它是一个不可错过的机会。课程教材内容丰富、难度适中,且教学相对轻松愉悦,难怪在学习资源上产生了广泛的影响。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值