[machine learning]ng lecture

• cost function - cal the error of the hypotheses and the true value (sum)
• gradient descent - by gradient descent step by step we can reach the minimum
• logistic regression -
  
  • classification
  • hypothesis representation
  • decision boundary
  • cost function
• regularization
  
  • overfitting -> reduce the weight
  • cost function

• neural networks :

  • non-linear hypothesis
  • minimization of cost function

  • backpropagation algo)(from the training of the neuron network, from wiki:)

    • 第1阶段:激励传播
      每次迭代中的传播环节包含两步：
      (前向传播阶段)将训练输入送入网络以获得激励响应；
      (反向传播阶段)将激励响应同训练输入对应的目标输出求差，从而获得隐层和输出层的响应误差。
      第2阶段:权重更新
      对于每个突触上的权重，按照以下步骤进行更新：
      将输入激励和响应误差相乘，从而获得权重的梯度；
      将这个梯度乘上一个比例并取反后加到权重上。
      这个比例(百分比)将会影响到训练过程的速度和效果，因此称为“训练因子”。梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差。

    • 第1和第2阶段可以反复循环迭代，直到网络的对输入的响应达到满意的预定的目标范围为止。

  • random initialzation
• design of the system for machine learning: error analysis
• SVW (看不懂)
• clustering : kmean ; random initialization: # of clusering