林轩田作业hw0答案

1 probability and statistics

1. 数学归纳法。
   该结论可以理解为现有N个人，其中有一个人是Anna。你需要从中挑选出K个人，那么当选出的K个人必须不含Anna时，有$C(N-1,K)$种选法。当选出的人必须包含Anna时，有$C(N-1,K-1)$中选法。二者之和，即为你从N个人里选K个的所有可能选法。

2. 抛10次硬币得到4次正面：$C(10,4)*(1/2)^10$
   一副牌中抽5张（为了计算方便，这里把同样的牌也看做不同的个体），得到XXXYY：共有$A(52,5)$种排列方法。其中XXXYY类型的有$A(13,2)*A(4,3)*A(4,2)$种，相除即可

3. 设结果中有一个正面为事件A，三个均朝上为事件B，那么问题即为求解$P(B|A)$. 事件A的概率是$1-(1/2)^3 = 7/8$, 事件AB发生的概率是1/8，故已知事件A发生，事件B发生的条件概率是1/7

4. 这里不确定bit为0的概率是多少。暂理解为1/2. 那么直接使用条件概率公式即可。
   P(X<0| |X|=1) = P(X<0 &|X|=1)/P(|X|=1) = P(X=-1)/P(|X|=1)$.分子是$1/2*1/4, 分母是$1/2*1/8+1/2*1/4$.所以结果是2/3

5. A是B的子集时，二者交集有最大值0.3，二者并集有最小值0.4
   A与B不相交时，二者交集有最小值0，二者并集有最大值0.7 (以上均指概率)

6. 代入计算即可，注意不要将均值的平方展开。

7. 利用正态分布的特征函数，即$E(e^itX) = exp(itu – d^2*t^2/2)$其中，u为正态随机变量均值，d为标准差。直接代入展开即可。由于X1与X2相互独立，Z的均值-1，方差5

2 Linear Algebra

1. 该矩阵对应的行列式为0，秩不可能是3，有不为0的二阶余子式，所以秩是2

2. 三阶的，可以直接求伴随矩阵，或者初等变换（高斯消元法），结果是
   $\frac{1}{7}*( (1,-5,6), (-2,6,-4), (3,-3,2) )$

3. 特征值是4,2,2 对应特征向量是(1,2,-1),(1,-1,0),(1,0,-1)

4. 奇异值分解，代入即可证明

5. 第一个是因为实质求的是个向量的L2范数，必然大于等于0；第二个利用对阵矩阵的谱分解

6. u与x同向，内积最大，值为x长度；反向时，内积最小，值为x长度的负值；垂直时，内积长度最小，值为0

7. 5 任取H1上的一点x0代入即可求得距离

3 Calculus

1. $-2e^{-2x}/(1+e^{-2x}) , 2e^{2y}+6xye^{2xy^2}$

2. $–ysin(u+v)-xcos(u-v)$

3. $2ln3.5$

4. $gradient=2(e^2 – 4e^{-2}, (e-2/e)^2)$
   $Hessian = ( (2e^2 + 16e^{-2} + 4, 4e^2 – 16e^{-2}), (4e^2 – 16e^{-2},4e^2 +8e^{-2} -12))$

5. 将(4)中的gradient和Hessian矩阵代入即可

6. 求导，已知该函数先减后增，导数为0时有最小值，$alpha = -1/3ln(A/2B)$

7. 可以对w的每个元素求导，列成向量即可

8. 二次函数，有最小值，且在二阶导数为零向量时取得，A可逆，直接代入求解即可

9. (6,3,2) 原因见lagrange multiplier原理

10. 当$eta$非常小的时候，在$w$处进行一阶泰勒展开，会发现$E(w-eta*u)$比$E(w)$小，得知。