第一周
一、无监督学习与监督学习
无监督学习从数据中学习模式,适用于描述数据。
监督学习从数据中学习标记分界面。
半监督学习:一部分样本有标注,大部分样本没标注。
强化学习:样本标注未知,但是知道与输出目标相关的反馈。
二、人工智能分类
三、传统机器学习与深度学习的比较
传统机器学习:
1、收集几百张数据
2、花很长时间观察并选择或设计一些特征
3、用某种分类器训练和测试
深度学习:
1、收集几万张数据并标注要处理对象的位置
2、挑几个深度模型,选几组模型超参数
3、交给机器优化参数
四、深度学习中的“不能”
1、算法输出不稳定,容易被攻击
2、模型复杂度高,难以调试
3、层级复杂度高,参数不透明
4、端到端方式对数据依赖性强,模型增量性差
5、对开放性推理问题无能为力
6、人类知识无法有效引入
五、神经网络基础
常见激活函数
它是做了一个非线性变换,使得不再是简单的多层矩阵相乘
sigmod:输出从0到1
tanh:从-1到1
ReLU: 取0和当前值的最大值
万有逼近定理
如果一个隐层包含足够多的神经元,三层前馈神经网络(输入-隐层-输出)能以任意精度逼近任意预定的连续函数。
梯度下降
沿负梯度方向更新使得函数值下降最快
六、pytorch基础
1、定义数据
一个数、一维数组 torch.tensor()
二维及以上的数组 torch.ones(2, 3)
空张量 torch.empty(2, 3)
随机初始化的张量 torch.rand(3, 5)
创建一个全0张量,并且数据类型为long torch.zeros(3, 5, dtype=torch.long)
基于现有tensor创建新tensor y = x.new_ones(3, 5)
2、基本操作
基本运算,加减乘除,求幂求余
布尔运算,大于小于,最大最小
线性运算,矩阵乘法,求模,求行列式