数据科学 8 （补充）参数估计与凸优化

主要内容：

• a

8.1 参数估计

8.1.1 类型

点估计 —— 估计未知参数的值
• 矩估计
• 极大似然估计
• 最小二乘估计法
• 贝叶斯估计

区间估计: —— 估计未知参数的取值范围，使得这个范围包含未知参数真值的概率为给定的值。

8.1.2 各种估计的优缺点

1、矩估计

矩估计的优点:
• 不依赖总体的分布，简便易行
• 只要n充分大，精确度也很高。

矩估计的缺点:
• 矩估计的精度较差；
• 要求总体的某个k阶矩存在；
• 要求未知参数能写为总体的原点矩的函数形式

2、 极大似然函数

极大似然估计的优点 ：
•利用了分布函数形式, 得到的估计量的精度一般较高。

极大似然估计的 缺点：
•要求必须知道总体的分布函数形式

8.1.3 机器学习算法的超参数

8.1.4 交叉验证与网格搜索

1、交叉验证思路

实现：https://blog.csdn.net/yueguizhilin/article/details/77711789

2、网格搜索实现

for k in k_range:
	knn = KNeighborsClassifier(n_neighbors=k)
	scores = cross_val_score(knn,X,y,cv=10,scoring='accuracy')
	k_scores.append(scores.mean())

8.2 凸优化

8.2.1 标准优化问题

8.2.2 凸优化问题

8.2.3 仿射集(Affine set)

8.2.4 凸集

典型的凸集：

A、线段，射线，直线
B、超平面，半空间
C、仿射集
D、欧几里得球，范数球，椭球等
E、凸锥，范数锥等

1、凸函数