台大机器学习2015 hw0 solution



probability and statistics

1. 数学归纳法。

   该结论可以理解为现有N个人，其中有一个人是Anna。你需要从中挑选出K个人，那么当选出的K个人必须不含Anna时，有C(N-1,K)种选法。当选出的人必须包含Anna时，有C(N-1,K-1)中选法。二者之和，即为你从N个人里选K个的所有可能选法。

2. 抛10次硬币得到4次正面：C(10,4)*(1/2)^10

   一副牌中抽5张（为了计算方便，这里把同样的牌也看做不同的个体），得到XXXYY：共有A(52,5)种排列方法。其中XXXYY类型的有A(13,2)*A(4,3)*A(4,2)种，相除即可

3. 设结果中有一个正面为事件A，三个均朝上为事件B，那么问题即为求解P(B|A). 事件A的概率是1-(1/2)^3 = 7/8, 事件AB发生的概率是1/8，故已知事件A发生，事件B发生的条件概率是1/7

4. 这里不确定bit为0的概率是多少。暂理解为1/2. 那么直接使用条件概率公式即可。

   P(X<0| |X|=1) = P(X<0 & |X|=1)/P(|X|=1) = P(X=-1)/P(|X|=1).分子是1/2*1/4, 分母是1/2*1/8+1/2*1/4.所以结果是2/3

5. A是B的子集时，二者交集有最大值0.3，二者并集有最小值0.4

   A与B不相交时，二者交集有最小值0，二者并集有最大值0.7 (以上均指概率)

6. 代入计算即可，注意不要将均值的平方展开。

7. 利用正态分布的特征函数，即E(e^itX) = exp(itu – d^2*t^2/2)其中，u为正态随机变量均值，d为标准差。直接代入展开即可。由于X1与X2相互独立，Z的均值-1，方差5

Linear Algebra

1. 该矩阵对应的行列式为0，秩不可能是3，有不为0的二阶余子式，所以秩是2

2. 三阶的，可以直接求伴随矩阵，或者初等变换（高斯消元法），结果是

   1/7*( (1,-5,6), (-2,6,-4), (3,-3,2) )

3. 特征值是4,2,2 对应特征向量是(1,2,-1),(1,-1,0),(1,0,-1)

4. 奇异值分解，代入即可证明

5. 第一个是因为实质求的是个向量的L2范数，必然大于等于0；第二个利用对阵矩阵的谱分解

6. u与x同向，内积最大，值为x长度；反向时，内积最小，值为x长度的负值；垂直时，内积长度最小，值为0

7. 5 任取H1上的一点x0代入即可求得距离

Calculus

1. -2e^(-2x)/(1+e^(-2x)) , 2e^(2y)+6xye^(2xy^2)

2. –ysin(u+v)-xcos(u-v)

3. 2ln3.5

4. gradient=2(e^2 – 4e^-2, (e-2/e)^2)

   Hessian = ( (2e^2 + 16e^-2 + 4, 4e^2 – 16e^-2), (4e^2 – 16e^-2,4e^2 +8e^-2 -12))

5. 将(4)中的gradient和Hessian矩阵代入即可

6. 求导，已知该函数先减后增，导数为0时有最小值，alpha = -1/3ln(A/2B)

7. 可以对w的每个元素求导，列成向量即可

8. 二次函数，有最小值，且在二阶导数为零向量时取得，A可逆，直接代入求解即可

9. (6,3,2) 原因见lagrange multiplier原理

10. 当eta非常小的时候，在w处进行一阶泰勒展开，会发现E(w-eta*u)比E(w)小，得知。