![](https://img-blog.csdnimg.cn/20210714180633211.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习与人工智能
深度学习与人工智能
hnjzsyjyj
这个作者很懒,什么都没留下…
展开
-
向量范数及其Python代码
向量由于既有大小又有方向,所以不能直接比较大小。向量范数通过将向量转化为实数,然后进行向量的大小比较。所以,向量范数是用于度量向量“大小”的量。原创 2023-09-13 11:39:45 · 580 阅读 · 0 评论 -
读书笔记:隐藏层的激活值的分布 weight_init_activation_histogram.py ← 斋藤康毅
隐藏层各层的激活值的分布都要求有适当的广度。为什么呢?因为通过在各层间传递多样性的数据,神经网络可以进行高效的学习。反过来,如果传递的是有所偏向的数据,就会出现梯度消失或者“表现力受限”的问题,导致学习可能无法顺利进行。原创 2023-02-02 23:38:27 · 157 阅读 · 0 评论 -
读书笔记:Python绘制等高线图 ← 斋藤康毅
Python绘制等高线图原创 2023-02-02 10:03:28 · 591 阅读 · 0 评论 -
读书笔记:神经网络 Softmax-with-Loss 层的实现及应用 ← 斋藤康毅
神经网络中进行的处理有推理和学习两个阶段。神经网络的推理通常不使用 Softmax 层。神经网络中未被正规化的输出结果有时被称为“得分”。也就是说,当神经网络的推理只需要给出一个答案的情况下,因为此时只对得分最大值感兴趣,所以不需要 Softmax层。 不过,神经网络的学习阶段则需要 Softmax 层。原创 2023-02-01 15:51:34 · 232 阅读 · 0 评论 -
读书笔记:神经网络 Affine 层的实现及应用 ← 斋藤康毅
神经网络的正向传播中进行的矩阵的乘积运算在几何学领域被称为“仿射变换”。“Affine层”的作用就是进行仿射变换。理解“Affine层”的原理,需要掌握矩阵微分的知识。矩阵微分的知识可参考:https://www.cnblogs.com/faranten/p/16028217.html原创 2023-02-01 14:40:40 · 284 阅读 · 0 评论 -
读书笔记:神经网络 Sigmoid 层的实现及应用 ← 斋藤康毅
Sigmoid 层原创 2023-01-31 17:46:04 · 182 阅读 · 0 评论 -
读书笔记:神经网络 ReLU 层的实现及应用 ← 斋藤康毅
在神经网络的层的实现中,一般假定 forward() 和 backward() 的参数是NumPy数组。● 激活函数 ReLU(Rectified Linear Unit):如果正向传播时的输入x大于0,则反向传播会将上游的值原封不动地传给下游。反过来,如果正向传播时的x小于等于0,则反向传播中传给下游的信号将停在此处。原创 2023-01-31 11:09:12 · 525 阅读 · 0 评论 -
读书笔记:神经网络加法层与乘法层的实现及应用 buy_apple_orange.py ← 斋藤康毅
“层”是神经网络中功能的单位。通常把神经网络的“层”实现为一个类。“层”的实现中有两个共通的方法 forward() 和 backward()。forward() 对应正向传播,backward() 对应反向传播。加法结点的反向传播将上游的值原封不动地输出到下游,乘法结点的反向传播将上游的值乘以正向传播时输入信号的“翻转值”后传递给下游。原创 2023-01-31 06:08:08 · 509 阅读 · 0 评论 -
读书笔记:神经网络的学习 train_neuralnet.py ← 斋藤康毅
神经网络的学习分成下面4个步骤。● 步骤1(mini-batch)从训练数据中随机选出一部分数据,这部分数据称为mini-batch。我们的目标是减小mini-batch的损失函数的值。● 步骤2(计算梯度)为了减小mini-batch的损失函数的值,需要求出各个权重参数的梯度。梯度表示损失函数的值减小最多的方向。● 步骤3(更新参数)将权重参数沿梯度方向进行微小更新。● 步骤4(重复)重复步骤1、步骤2、步骤3。原创 2023-01-28 23:22:38 · 344 阅读 · 0 评论 -
读书笔记:神经网络的梯度 gradient_simplenet.py ← 斋藤康毅
神经网络的梯度,是指损失函数关于权重参数的梯度。需要提醒的是,此代码每次运行的输出结果不同。原创 2023-01-27 22:14:15 · 109 阅读 · 0 评论 -
读书笔记:梯度法求函数的最小值 gradient_method.py ← 斋藤康毅
● 由多元函数全部变量的偏导数汇总而成的向量称为梯度(gradient)。梯度指示的方向是各点处的函数值减小最多的方向。● 虽然梯度的方向并不一定指向最小值,但沿着它的方向能够最大限度地减小函数的值。因此,在寻找函数的最小值(或者尽可能小的值)的位置的任务中,要以梯度的信息为线索,决定前进的方向。原创 2023-01-27 09:18:57 · 1114 阅读 · 0 评论 -
读书笔记:求函数梯度的Python代码 numerical_gradient.py ← 斋藤康毅
由多元函数全部变量的偏导数汇总而成的向量称为梯度(gradient)。梯度指示的方向是各点处的函数值减小最多的方向。原创 2023-01-26 23:32:39 · 1209 阅读 · 1 评论 -
读书笔记:Python绘制三维图像 ← 斋藤康毅
ax.plot_surface(X, Y, Z, rstride=3, cstride=3, cmap='rainbow') 用于绘制三维图像。其中:rstride表示行之间的跨度,用来控制行平滑程度。cstride表示列之间的跨度,用来控制列平滑程度。原创 2023-01-26 17:49:23 · 692 阅读 · 0 评论 -
读书笔记:数值微分及其在切线绘制中的Python实现 ← 斋藤康毅
数值微分(Numerical differentiation)及其在切线绘制中的Python实现原创 2023-01-26 15:18:46 · 80 阅读 · 0 评论 -
读书笔记:mini-batch学习 ← 斋藤康毅
如果以全部数据为对象求损失函数的和,则计算过程需要花费较长的时间。因此,我们从全部数据中选出一部分,作为全部数据的“近似”。这种学习方式称为mini-batch学习。原创 2023-01-25 10:50:28 · 678 阅读 · 0 评论 -
读书笔记:均方误差与交叉熵误差的Python实现 ← 斋藤康毅
神经网络以损失函数为线索寻找最优权重参数。损失函数可以使用任意函数,但一般用均方误差和交叉熵误差等。原创 2023-01-24 22:25:55 · 80 阅读 · 0 评论 -
读书笔记:异或门的Python实现 ← 斋藤康毅
单层感知机无法表示异或门,单层感知机无法分离非线性空间。这让人深感遗憾,但也无需悲观。因为,可以通过组合单层感知机来表示异或门。也就是说,通过叠加层(加深层),感知机能进行更加灵活的表示。实际上,与门、或门、与非门是单层感知机,而异或门是2层感知机。原创 2023-01-19 09:25:50 · 313 阅读 · 0 评论 -
读书笔记:手写数字识别 ← 斋藤康毅
求解机器学习问题的步骤可以分为“学习”和“推理”两个阶段。本例假设“学习”阶段已经完成,并将学习到的权重和偏置参数保存在pickle文件sample_weight.pkl中。然后,使用学习到的权重和偏置参数,实现“推理”阶段。在“手写数字识别”项目中,所谓“推理”,即使用学习到的权重和偏置参数,对输入数据进行分类。“手写数字识别”项目的代码含mnist.py、neuralnet_mnist.py及sample_weight.pkl等3个文件,它们位于同一文件夹下。原创 2023-01-18 09:04:23 · 693 阅读 · 0 评论 -
在jupter中利用Python编程查看pkl文件内容的步骤
pkl文件是python里面保存文件的一种格式。原创 2023-01-15 23:38:47 · 2333 阅读 · 0 评论 -
读书笔记:3层神经网络的Python实现 ← 斋藤康毅
本例中,神经网络的层号从0开始,目的是方便利用Python进行实现。因此,本例所构造的3层神经网络,共有4层神经元。即第0层、第1层、第2层、第3层。原创 2023-01-15 22:29:42 · 219 阅读 · 0 评论 -
读书笔记:ReLU函数的Python代码 ← 斋藤康毅
在神经网络发展的历史上,sigmoid函数很早就开始被使用了,而最近则主要使用ReLU(Rectified Linear Unit)函数。原创 2023-01-15 07:15:26 · 187 阅读 · 0 评论 -
sigmoid函数和阶跃函数的Python代码比较 ← 斋藤康毅
sigmoid函数:1/(1+exp(-x))sigmoid函数的平滑性对神经网络的学习具有重要意义。原创 2023-01-13 20:11:27 · 217 阅读 · 0 评论 -
阶跃函数的Python实现 ← 斋藤康毅
激活函数是连接感知机和神经网络的桥梁。原创 2023-01-13 11:28:37 · 900 阅读 · 0 评论 -
智能交通领域知名期刊
IEEE Transactions on Intelligent Transportation Systemshttp://dblp.uni-trier.de/db/journals/tits/IET Intelligent Transport Systemshttp://digital-library.theiet.org/content/journals/iet-its原创 2022-03-29 19:57:43 · 1755 阅读 · 0 评论 -
Anaconda3 下安装 opencv-python 的命令
【Anaconda3-4.4.0-Windows-x86_64】https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-4.4.0-Windows-x86_64.exe【安装 opencv-python】pip install opencv-python原创 2022-03-17 23:38:37 · 3630 阅读 · 0 评论 -
粒计算领域的知名学者、知名期刊等(持续更新中)
【著名学者】同济大学 苗夺谦南京大学 李华雄【著名期刊】原创 2021-12-31 14:41:50 · 1258 阅读 · 0 评论 -
CARLA:Open-source simulator for autonomous driving research
CARLA:Open-source simulator for autonomous driving researchhttp://carla.org/http://carla.org/2021/11/16/release-0.9.13/原创 2022-02-25 17:20:50 · 82 阅读 · 0 评论 -
高斯分布的四阶矩
【高斯分布的四阶矩】https://blog.csdn.net/u010656539/article/details/94167460原创 2021-12-06 21:59:05 · 1286 阅读 · 0 评论 -
人工智能领域常见顶会
人工智能领域常见顶会:CVPR、ECCV、ICCV、AAAI、NIPS、ICLR、ICML原创 2021-07-13 18:31:59 · 2090 阅读 · 0 评论 -
自主移动机器人/低速无人驾驶平台
Linux/ROSC++OpenCV:https://opencv.org/原创 2021-06-16 21:54:29 · 157 阅读 · 1 评论