- 博客(55)
- 收藏
- 关注
RSS订阅原创 2.5.LeNet
先试用卷积层来学习图片空间信息，然后使用全连接层来转换到类别空间 第一层卷积层要padding一下，收集边框的信息，然后增加一下输出通道，激活后平均池化，输出一个1*6*14*14的向量，图变小了，但输出通道便多了，实际上信息还是变多了。 第二层卷积继续压缩信息，压缩到[1,16,5,5]。 然后flatten变为一维的，进行全连接。
2024-07-22 22:45:33
153
原创 2.4.池化层
当检测较底层的特征时，我们通常希望这些特征保持某种程度上的平移不变性。例如，如果我们拍摄黑白之间轮廓清晰的图像X，并将整个图像向右移动一个像素，即，则新图像Z的输出可能大不相同。而在现实中，随着拍摄角度的移动，任何物体几乎不可能发生在同一像素上。即使用三脚架拍摄一个静止的物体，由于快门的移动而引起的相机振动，可能会使所有物体左右移动一个像素（除了高端相机配备了特殊功能来解决这个问题）。 即卷积层对像素变化太敏感了。
2024-07-22 22:44:01
322
原创 2.3.多输入多输出通道
彩色图像具有标准的RGB通道来代表红、绿和蓝。但是到目前为止，我们仅展示了单个输入和单个输出通道的简化例子。这使得我们可以将输入、卷积核和输出看作二维张量。当我们添加通道时，我们的输入和隐藏的表示都变成了三维张量。例如，每个RGB输入图像具有3×ℎ×𝑤的形状。我们将这个大小为3的轴称为通道（channel）维度。
2024-07-21 22:10:57
785
原创 2.2.填充和步幅
我们已经知道，卷积的输出形式取决于输入形式和卷积核的形式。 此外还有其他因素会影响输出的大小。假设以下情景： 有时，在应用了连续的卷积之后，我们最终得到的输出远小于输入大小。这是由于卷积核的宽度和高度通常大于1所导致的。比如，一个240×240像素的图像，经过10层5×5的卷积后，将减少到200×200像素。如此一来，原始图像的边界丢失了许多有用信息。而填充是解决此问题最有效的方法；有时，我们可能希望大幅降低图像的宽度和高度。例如，如果我们发现原始的输入分辨率十分冗余。步幅。
2024-07-21 22:08:44
538
原创 2.1.卷积层
用MLP处理图片的问题：假设一张图片有12M像素，那么RGB图片就有36M元素，使用大小为100的单隐藏层，模型有3.6B元素，这个数量非常大。识别模式的两个原则：平移不变性局部性。
2024-07-20 18:10:33
913
原创 2.0.PyTorch神经网络基础
将输入数据作为其前向传播函数的参数。通过前向传播函数来生成输出。请注意，输出的形状可能与输入的形状不同。例如，我们上面模型中的第一个全连接的层接收一个20维的输入，但是返回一个维度为256的输出。计算其输出关于输入的梯度，可通过其反向传播函数进行访问。通常这是自动发生的。存储和访问前向传播计算所需的参数。根据需要初始化模型参数。# 用模型参数声明层。这里，我们声明两个全连接的层# 调用MLP的父类Module的构造函数来执行必要的初始化。
2024-07-20 18:08:50
1502
原创 1.7.数值稳定性
htftht−1yl∘fd∘⋯∘f1x计算算是l关于参数Wt∂Wt∂l∂hd∂l∂hd−1∂hd⋯∂ht∂ht1∂Wt∂ht 中间有d−t1.51004×10170.81002×10−10。
2024-07-18 21:21:21
847
原创 1.5.模型选择
可以再加上这个二次函数理解，离原点较远时，梯度下降很快，罚的值也很大，可以快速的回到原点，当接近原点时，梯度下降变慢了，罚的值也会相应变小，减缓下降速度，避免过拟合。 给定一个分类模型，VC等于一个最大的数据集的大小，不管如何给定标号(label)，都存在一个模型来对它进行完美分类。 模型容量指拟合各种函数的能力，低容量的模型难以拟合训练数据，高容量的模型可以记住所有的训练数据。项叫做罚，假设只有两个参数，是二维的，等高线上的每一点值都是一样的。离原点很远，沿梯度下降后，再加上罚，可以到达。
2024-07-15 14:51:51
558
原创 1.3.Softmax回归
在梯度下降时，预测值与真实值相差较远时，梯度会较大，但在离原点比较远时，可能并不希望有较大的梯度，这种情况下可以使用L1 Loss。 好处就是，无论离原点多远，梯度下降时的导数都是正负1，但在比较接近时，可能就出现振荡了。使用均方损失训练，最大值预测为(即softmax函数)Softmax回归实际是一个分类问题。,如果是第i类，则值为1，否则为0。其梯度是真实概率和预测概率的区别。输出匹配概率（非负，和为1）交叉熵用来衡量两个概率的区别。 关心正确类的预测值。分类预测一个离散类别。
2024-07-12 08:00:00
2014
原创 1.2.线性回归
假设1：影响房价的关键因素时卧室个数，卫生间和居住面积，记为x1x2x3yw1x1w2x2w3x3b 权重和偏差的实际值在后面决定。
2024-07-11 21:46:24
942
原创 数理逻辑：1、预备知识
设ararar为集合TTT到非负整数集NNN的函数，则称集合TTT和函数ararar为一个类型，记为TTarT=(T,ar)TTar,简记为TTT。此外，令Tnt∈T∣artnTnt∈T∣artn A是一个集合，T是一个类型，T中每个元素ttt对应于AAAtAAart→AtAAart→A，则称集合AAA和tA∣t∈TtA∣t∈T。
2024-05-25 20:35:55
464
1
原创 计算理论基础：4、复杂性理论
DTIMEDTIMEDTIMETN→NTN→N,语言L∈DTIMETnL∈DTIMETn)),当且仅当存在一个多带图灵机(常数带)，可以在时间OTnO(T(n))OTn))的时间里判定LLLPEXPP、EXPPEXPP⋃c≥1DTIMEncP⋃c≥1DTIMEnc（多项式时间）Exp⋃c1DTIME2ncExp⋃c1。
2024-05-23 21:29:45
679
原创 5.查询优化
对于驻留在磁盘上的大型数据库’从磁盘访问数据的I/O代价通常是最主要的代价。 当数据驻留在内存或SSD上时,I/O代价并不总是最主要的代价,并且在计算查询执行代价时，必须包括CPU代价。为了简化表示，我们的模型中并不包括CPU代价。 查询代价的两个重要因素 这两者都需要在磁盘存储器上进行磁盘寻道。 如果磁盘子系统传输一个数据块平均要花费tT秒，并且平均的块访问时间(磁盘寻道时间加上旋转延迟)为tS秒，那么一个传输b个块并执行S次随机I/O访问的运算将要花费b⋅t。
2024-05-20 11:41:59
972
原创 线段树模板(先后顺序的处理)
此外还有一些小细节要注意：每次准备向下搜索时，都要push_down一下，对于懒标签的维护，由于存在先后顺序，在对乘法标签进行修改后，加法标签也要进行修改(类似结合律和分配律之类的)2.乘法优先，则left->val = ((left->val * root->mul)+root->add * (r-l+1))%m。 对于含有多种区间操作，并且这些区间操作的先后顺序有所影响时，我们需要规定一个合适的运算顺序，使得懒标签的维护更为简单，更易维护。 比较公式化，唯一需要处理的是讨论加和乘法的先后顺序。
2024-05-17 23:53:13
282
原创 多臂老虎机
有n根拉杆的的老虎机，每根拉杆获得奖励(值为1)的概率各不相同。期望奖励更新Qkk1i1∑krik1rki1∑k−1rik1rkkQk−1−Qk−1Qk−1k1rk−Qk−1累计懊悔： 至少存在一根拉杆，它的期望奖励不小于拉动其他任意一根拉杆，设最优期望为Q∗maxa∈AQa。
2024-05-14 22:34:48
993
1
原创 代数结构：5、格与布尔代数
设L⪯L⪯为偏序集，如果任意的$a,b\in L有最小上界与最大下界时，称有最小上界与最大下界时，称有最小上界与最大下界时，称L为格，以为`格`，以为格，以leastupperbond表示(least upper bond)表示leastupperbond表示a,b的最小上界，的最小上界，的最小上界，greatestlowerbond表示（greatest lower bond)表示。
2024-05-12 19:03:06
897
原创 MySQL指令
查看已有的数据库(文件夹)创建数据库(文件夹)删除数据库(文件夹),按上可以浏览以前的sql进入数据库(进入文件夹)查看数据库的表。
2024-05-11 22:01:54
953
原创 线段树(指针实现)
较为模式化的一道题，只不过多了一个覆盖操作，这个操作比较简单，因为如果覆盖了，adder标记就没用了直接清0即可。 使用指针可以避免越界的问题，而且树嘛，总归用指针舒服些。
2024-05-08 21:05:46
214
原创 计算机体系结构：6、指令流水线
一条指令的执行过程可被分为若干阶段，每个阶段由相应的功能部件完成。 进入流水线的指令流，由于后一条指令的第i步与前一步指令的第i1步同时进行，从而使一串指令总的完成时间大为缩短。 通常流水线设计的原则是：指令流水段个数以最复杂指令所用的功能段个数为准;流水段的长度以最复杂的操作所花时间为准。容易发现，流水线方式不能缩短一条指令的执行时间，但是对于整个程序来说，流水线方式可以大大增加指令执行的吞吐率。
2024-05-08 15:08:57
1578
原创 线段树(以区间和为例)
线段树的根节点是一个长区间，例如输入不超过N个的数，那么可以将根节点设为[1，N]，它的左右子节点为均分父节点的两个区间，即左半区间和右半区间1⌊N12⌋⌊N12⌋1N1⌊2N1⌋][⌊2N1⌋1N，依次递归地建立，直到叶子节点，即区间ii[i,i]ii。
2024-05-07 10:48:18
1165
原创 计算理论基础：3、可计算性
的平行带为双向无限的(双向纸带可被单带模拟，相差常数级)，。以内都是半满的，所以需要移动这么多次才会再遇到。每个区域只有三个状态：空的，满的或者时半满的。根据引理3.9，我们知道一个多带图灵机可在。移动纸带，而不是移动指针。完成一次操作后，那么接下来的。内转化为一个单带图灵机。的每一步，UTM u 将。中的缓冲符号的数目只能为。 存在一个多带图灵机。的时间（移动纸带就需要。带标志组成的列向量，次的移动指标不会超过。操作)，因此，最多有。
2024-04-18 21:55:27
924
原创 数据库引论：5、关系数据库设计理论
没有冗余，例如indepindepIDnamesalarydeptnamebuildingbudget 表示instructor和department的关系上进行自然连接的结果，但实际上存在许多冗余，对于同一个院系的老师(例如CompSci)，每一个元组都在building属性上冗余了。
2024-04-17 16:25:57
862
原创 代数结构:4、域
15.域 回顾一下域的定义，对于代数结构[F;+,⋅][F;+,\cdot][F;+,⋅]，满足：+构成Abel群,⋅\cdot⋅构成半群⋅\cdot⋅关于+满足分配律 (至此构成环)如果⋅\cdot⋅满足交换律，有单位元，且无零因子，构成整环如果⋅\cdot⋅满足有单位元，无零因子，且非零元有逆，构成除环整环非零元有逆，或除环满足交换律，构成域15.1 扩域定义1 扩域 当FFF是域，F′⊆F,F′≠∅,F′F'\subseteq F,F'\ne \varno
2024-04-10 21:51:41
1516
原创 数据库引论:3、中级SQL
在SQL中通过使用命令来定义视图，且需要给视图一个名称，则格式为createviewvas查询表达式;create\ view\ v\ as\ ;createviewvas查询表达式;
2024-04-08 08:00:00
1171
1
原创 数据库引论：4、使用E-R模型的数据库设计
如果E1E2⋯EnE1E2⋯En为实体集，那么联系集RRR是e1e2⋯en∣e1∈E1e2∈E2⋯en∈En{(e1e2⋯en∣e1∈E1e2∈E2⋯en∈En的一个子集，其中e1e2⋯ene1e2⋯en是一个联系实例联系集的属性在E-R图中通过未分割的矩形来表示。递归的联系集。
2024-04-07 20:10:18
1028
原创 计算机体系结构：5、中央处理器
CPU的基本职能是周而复始地执行指令，但执行过程中可能会遇到一些异常情况和外部中断，故还要能发现和处理异常情况和中断请求。取指令。从PC指出的内存单元中取出指令送到指令寄存器(IR)对IR中的指令操作码译码并计算下条指令地址。不同指令的功能不同，即指令涉及的操作过程不同，因而需要不同的操作控制信号。计算源操作数地址并取源操作数。根据寻址方式确定源操作数地址计算方式，若源操作数是存储器数据，则需要一次或多次访存。例如，对于间接寻址或两个操作数都在存储器的指令，需多次访存；
2024-04-01 11:57:33
950
原创 计算理论基础：2、丘奇-图灵论题
Def3.1Def\ 3.1Def3.1图灵机是一个7元组Q∑Γδq0qacceptqrejectQ∑Γδq0qacceptqrejectQ∑ΓQ∑Γ都是有穷集合，并且QQQ是状态集∑\sum∑是输入字母表，不包括特殊空白符号⊔\sqcup⊔Γ\GammaΓ是带子字母表，其中，⊔∈Γ⊳∈Γ∑⊆Γ⊔∈Γ⊳∈Γ∑⊆ΓδQ×Γ→Q×Γ×L。
2024-03-26 20:38:32
879
原创 数据库引论：3、中级SQL
在SQL中通过使用命令来定义视图，且需要给视图一个名称，则格式为createviewvas查询表达式;create\ view\ v\ as\ <查询表达式>;createviewvas查询表达式;
2024-03-25 08:00:00
1380
原创 代数结构：3.环
环：代数系统R;;∗[R;*]R;;∗，其中+，*为定义在RRR上的二元运算，满足下述条件，对任意abc∈Ra,b,c\in Rabc∈R +可结合、交换，且有单位元、逆元；*可结合，且满足分配率，则称R∗[R,+,*]R∗为环即R;[R;+]R;为Abel群，[R,*]为半群零因子R;;⋅[R;\cdot]R;;⋅为环，ab∈Ra≠0b≠0ab∈Ra0b0，但a⋅b0。
2024-03-24 18:33:40
1301
1
原创 计算机体系结构：4.指令系统
一条指令必须明显或隐含包含的信息：操作码：指定操作类型（操作码长度：固定/可变）源操作数参照：一个或多个源操作数所在的地址（操作数来源：主（虚）存、寄存器、I/O端口、指令本身）结果值参照：产生的结果存放何处（目的操作数）（结果地址：主（虚）存、寄存器、I/O端口）下一条指令地址：下条指令存放何处（下条指令地址：主（虚）存，正常情况隐含在PC中，改变顺序时由指令给出）
2024-03-18 15:37:59
835
1
原创 数据库引论：2.SQL简介
char(n)：具有用户指定长度n的固定长度的字符串，也可以使用全称形式charactervarchar(n)：最大长度为n的可变长度的字符串int:整数smallint：小整数(依赖于机器的整数类型的子集)numeric(p,d)：具有用户指定精度的定点数。这个数字有p位数(算上一个符号位)，并且小数点右边有p位中的d位数字real，double precision：浮点数与双精度浮点数，精度依赖于机器float(n)：精度至少为n位数字的浮点数使用createt。
2024-03-16 15:51:27
1698
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人