逻辑回归

model loss optimizer

3步，选取model，选择loss很重要，因为可能出现多个极小值。optim用来找到使loss最小的w和b

偏微分计算

model选择

太简单：欠拟合
太复杂：过拟合 ,理论上说复杂的模型包含了简单模型。但数据中有噪音会影响到
过拟合，可以选择更多特征作为解决方法，弱化w影响，加入正则项

过拟合本质是有噪音的影响，特征中的噪音，或者权重与噪音的结合引起的。但不知道哪个是噪音，可以选择正则项，使得弱化权重来减少输入的变化对输出的影响，让loss输出更平滑，也就是让loss符合多数的特征，弱化跳变的噪音对loss的影响，b对平滑和输入x没影响，只影响上下。
加入正则，影响loss的有error和正则两项，如果正则变大，则越平滑，正则占比大，不会过度拟合。有可能error变大，但这真是我们想要的，我们并非想要完全拟合的。
正则的太大太平滑，有可能又到时error过大，欠拟合，所以需要找打一个中间的拉姆达

regular选择

深度学习

• 深度学习相较于机器学习在function变复杂了，loss optimize都没变
• 全连接层的wx+b，用矩阵相乘的形式做代替

深度学习和宽度学习比较

• 通过每层分工完成任务，可以需要较少的数据，完成任务。
• 正是数据少，才需要学习特征，解决未知的数据。
• 如果数据都知道，那就不用学习
• 启发：如果把数据都变成已知的，就很好训练。
• 实践：不同标签字不一样，但经过模糊处理后，基本分布就相同。相当于找到了最普遍的特征。

前项传播和后向传播

• 都是为了计算梯度
• 前项算w，后项算z梯度
• 最后整合起来算出真正梯度

训练技巧

• 欠拟合，参数不够，无法拟合函数
• 训练次数，导致找到极值点

CNN

• 将全连接的参数简化
• 相当于把全连接的有些nerual的权重值为0，或去掉，
• 在全连接层本来每个nerual有独立的weight，卷积相当于把同一层的nerual的权重弄一样，并且减少了weights。
• 卷积相当于把全连接的每层的nerual的权重设相同，再设置一些相同位次下的权重为0

why cnn

• 识别某个物体，不需要看整张图片，所有用convoluted
• 同样一个物体，会出现在图片的不同区域，所有用convoluted
• 对图片进行下采样不改变物体属性，所有用mnaxpooling
• 优点：共享参数，参数更少

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片:

带尺寸的图片:

居中的图片:

居中并且带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

• 项目
  • 项目
    • 项目

1. 项目1
2. 项目2
3. 项目3

• 计划任务
• 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	'Isn't this fun?'	‘Isn’t this fun?’
Quotes	"Isn't this fun?"	“Isn’t this fun?”
Dashes	-- is en-dash, --- is em-dash	– is en-dash, — is em-dash

创建一个自定义列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何创建一个注脚

一个具有注脚的文本。¹

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 $\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$ 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. </