emmm 现在开始想尝试只看红色石头的笔记,然后有什么补充的地方才写一写,看看这样效果好不好,进度快不快(肯定快啦)~ 因为内容都没啥就结合在一起了。
6 Support Vector Regression
P22 6.1
这里
β
T
K
β
β^TKβ
βTKβ,这么写是因为:如果是
β
3
T
K
β
5
β^T_3Kβ_5
β3TKβ5的话,那么乘K的是K(3,5),就得到要乘在两个β上的系数。
K加个T也不变,因为他是个对称的矩阵,然后加上
I
I
I是因为λ是个系数而已,要多弄个矩阵 。
P23 6.2
P24 6.3
???为什么是减
答:这里按照第四章推一推就行了
然后这里,颜色之间对应/类比过去就行了,比如:
1
(
y
n
−
w
T
z
n
−
b
)
≤
ε
+
1(y_n-w^Tz_n-b)\leqε+
1(yn−wTzn−b)≤ε+ξ^n :
化简一下是:
w
T
z
n
+
b
≥
wTz_n+b≥
wTzn+b≥
y
n
y_n
yn - ε - ξ^n
类比
y
n
(
w
T
z
n
+
b
)
≥
1
−
ξ
n
y_n(w^Tz_n+b) ≥ 1-ξ_n
yn(wTzn+b)≥1−ξn,
1就是
y
n
y_n
yn,
y
n
y_n
yn - ε 就是1,其他同理
P25 6.4
总结
7 Blending and Bagging
尝试了一章不记笔记 记得很详细,感觉。。还行?不过SVM完结了,还是要复习一下。
P26 7.1
之前是做选择(validation),接来下要讲的aggregation是在一堆(可能都不大好)的hypothesis里面,运用集体的智慧来解决问题,一堆弱弱的合起来可能会很强。
8 Adaptive Boosting
进度快了很多(当然啦)
P30 8.1
P31 8.2
P32 8.3
其实做了这么多让g不一样的操作(这些g应该不会非常好),就是为了让g有不同,这些g又比较简单,只是在某个角度做到让错误更小,就好像8.1小学生认识苹果一样,g在某些方法表现得还可以,但是并不太能用。
8.x节也说了,有了不同的g(不同的声音),做出的算法(现在不知道啥算法,噢噢adaptive boosting),效果才好,如果都是差不多的话,也没有就平均的意义了。
9 Decision Tree
P35 9.1
Decision Tree 模型很多,也没有什么理论上的保证,但是经验上,用起来还不错,这里教一个符合本课程的 Decision Tree。
P36 9.2
就讲有两个class,一个是μ,另一个就是 1 - μ,然后代入。= = 看我几遍,μ =
N
1
N
\frac{N1}{N}
NN1,应该就是给定的了,因为 K = 2,直接 1 - μ 就可以了。
P36 9.3
P37 9.4
10 Random Forest
P38 10.1
视频最后 这里不是很懂,为什么可以这么做,pi ∈ basis是啥?
已解决,就是为了避免不重要的feature的干扰,看看哪个feature更重要,配合importance(i)使用
P39 10.2
P40 10.3
P41 10.4
11 Gradient Boosted Decision Tree
P42 11.1
P43 11.2
求导怎么求的?
P44 11.3
P45 11.4
总结篇,一堆东西下来真的挺乱的,看了别人笔记然后自己再看看林老师的总结,感觉顺了些,不过还是得自己上手实现才是真的懂吧~ 接下来就是神经网络和深度学习了,一直不知道ML、NN、DL有什么不同,激动!٩(๑>◡<๑)۶
12 Nerual Network
P46 12.1
P47 12.2
P48 12.3
P49 12.4
13 Nerual Network
P50 13.1
P51 13.2
P52 13.3
P50 13.4
这里有点疑惑,不知道为啥是
W
T
W^T
WT,其实在纸上写写就知道了,
W
W
W是 d x d~ ,自然
W
T
W^T
WT就是 d~ x d 了,然后 x 是 d x 1 维度。淡黄色那里虽然写的是
h
(
x
)
=
W
W
T
x
h(x) =WW^Tx
h(x)=WWTx,其实是
h
(
x
)
=
W
(
W
T
x
)
h(x) =W(W^Tx)
h(x)=W(WTx),先要计算括号内的,纸上写写就知道得出来的矩阵乘不了。
补充:看了吴恩达第一周的矩阵复习,发现自己讲错了,矩阵乘法服从结合律不服从交换律:
Matrices are not commutative: A ∗ B A ∗ B A∗B ≠ B ∗ A B ∗ A B∗A
Matrices are associative: ( A ∗ B ) ∗ C = A ∗ ( B ∗ C ) (A∗B)∗C=A∗(B∗C) (A∗B)∗C=A∗(B∗C)
这节推导有点硬核啊,就要去看线性代数和拉格朗日定理。
说这个跟PCA很像,红色石头推荐了介绍PCA的数学原理的网站,有时间看看。。。
14 15 16
终于刷完了!!!呕了,最后第16章林老师的总结非常非常好!!总结下来大部分都知道是个啥,不过不知道实际实现起来怎么样,毕竟之前听了师兄讲了算法后,也不一定会写hhh。不过PCA那里真的是很无力,只有模模糊糊的印象。看的时候有些东西不记得是啥,翻回去看就想起来了,感觉就。。。其实就是很多名词,其实也不难(可能没有实现吧2333)
最后截一张机器学习的丛林吧:
看到最后一章,感觉还是挺疲惫的,不过最后一章最后总结的时候,有种感觉就是 " 还是想学更多!!" 很感谢林老师领入门~
现在 开始吴恩达咯!!!!