- 博客(57)
- 收藏
- 关注
RSS订阅原创 为什么现在的LLM都是Decoder-only的架构？
而Encoder-Decoder架构之所以能够在某些场景下表现更好，大概只是因为它多了一倍参数。所以，在同等参数量、同等推理成本下，Decoder-only架构就是最优选择了。3、flash attention 优化了框架结构、Scaling Law的支持。2、打破了位置不变性 -kv cache节省速度。1、低秩问题，可能会削弱模型表达能力。
2024-08-05 12:37:26
214
原创 【自学记录】PyTorch语音识别实战
第三章：音频信号处理的理论与Python实战3.4 梅尔频率倒谱系数的计算过程第一步：数据准备import numpy as npfrom torchaudio import datasetsimport sound_utilsimport soundfile as sffrom matplotlib import pyplot as plt"--------------第一步：数据准备-------------"#signal：NumPy 数组，包含了音频文件中的音频数据。每个元素代表
2024-05-17 13:15:29
395
原创 【自学记录7】【Pytorch2.0深度学习从零开始学 王晓华】第七章 实战ResNet
遇到的问题：在PyTorch中，nn.ReLU(inplace=True)中的inplace=True参数表示该ReLU激活函数。这意味着它会在原地（in-place）执行操作，不会占用额外的内存空间来存储输出。具体地说，当你使用inplace=True时，输入张量x在经过ReLU激活函数后，其值会直接被ReLU的结果所替换。这样做可以节省内存，但需要注意，由于输入张量被修改了，因此在后续的计算中，如果你还需要原始张量的值，就可能会遇到问题。2、ResNet的四个主要阶段。
2024-04-07 23:15:12
464
原创 【自学记录5】【Pytorch2.0深度学习从零开始学 王晓华】第五章 基于Pytorch卷积层的MNIST分类实战
in_channels=3: 输入的通道数，对应图像的3个颜色通道。out_channels=10: 输出的通道数，即卷积后我们想要得到的特征图的数量。kernel_size=3: 卷积核的大小，这里使用的是3x3的卷积核。stride=2: 卷积核移动的步长，这里步长为2，意味着卷积核每次移动2个像素。padding=1: 在图像边缘添加的填充像素数。这通常用于保持输出尺寸，或确保卷积核可以到达图像的边缘。源码\第二章\ 5_1_2.py。
2024-04-02 21:09:20
949
原创 【自学记录】【Pytorch2.0深度学习从零开始学 王晓华】第四章 深度学习的理论基础
神经网络前向传播函数最后使用 return self.output_cells[:] 而不是 return self.output_cells 的主要目的是返回 self.output_cells 的一个浅拷贝（shallow copy），而不是原始对象的引用。j=1,依次输出(1,1),(2,1),对应W11，W12。j=2,依次输出(1,2),(2,2),对应W21，W22。j=3,依次输出(1,3),(2,3),对应W31，W32。所以，W矩阵还是【in,out】结构，a1=X1。
2024-04-02 13:02:39
670
1
原创 【自学记录】【Pytorch2.0深度学习从零开始学 王晓华】第三章 基于Pytorch的MNIST分类实战
源码\第三章\one_hot.py。
2024-04-01 12:58:52
710
原创 《深度学习进阶：自然语言处理》遇到的代码错误/bug汇总
会报错，np.int弃用了，改成dtype=np.int64就好啦！原书代码dataset/spiral.py里有一句。
2023-11-27 16:59:24
431
原创 python基础-numpy
np.random() np.random.rand(3,2) #随机生成【3，2】大小的矩阵array([[0.98766853, 0.09140474], [0.85365579, 0.71327129], [0.22873142, 0.05369397]])>>> np.random.randint(10,size=5) #随机生成(0-10)的int整形，大小=5array([3, 2, 2, 9, 7])np.arange() 借鉴一个
2023-11-22 17:32:42
139
2
原创 pip list 和 conda list的区别
PS : 网上说conda activate了之后就可以随意pip了 可以conda和pip混用 但是安全起见还是尽量用pip这样就算activate了，进入base虚拟环境了。
2023-11-20 22:04:54
1020
原创 【自学记录】深度学习进阶：自然语言处理（第一章 神经网络的复习）
需要注意的点是 np.dot(),当参数是一维数组时，计算向量内积；当参数是二维数组时，计算矩阵乘积。今天，终于，借此机会，终于学会用命令行了！
2023-11-20 20:44:08
652
原创 python基础-enumerate
enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。Python 2.3. 以上版本可用，2.6 添加 start 参数。
2023-11-16 14:38:27
71
原创 python-文件和目录的操作
上面的代码执行前面，如果 E:/3.Other 这个目录存在，但是 E:/3.Other/1 不存在，执行到copytree时，就只会 创建 E:/3.Other/1 ，再拷贝 D:/0.自主学习/testDir 目录中所有的内容 到 E:/3.Other/1 中。’)//改变当前工作目录到另外的路径，参数就是 新的当前工作目录 路径地址。上面的代码执行前面，如果 E:/3.Other/1 已经存在，执行到copytree时，就会报错。os.getcwd()//获取程序的当前工作目录的路径。
2023-11-15 16:57:45
126
原创 相对路径和绝对路径
使用"./"表示当前目录，‘./testDir/1.py’ 等同于’testDir/1.py’/”来表示上一级目录，“…/”表示上上级的目录，以此类推。相对路径，从一个目录为起点到另外一个的目录的路径。相对路径（如果你在A文件夹时）： …绝对路径，从根目录为起点到某一个目录的路径；绝对路径： C:\A文件夹。
2023-11-13 17:49:35
95
原创 有关python库
path里面存着这些路径，每次调用模块都会顺序搜索这些路径（以我现在的路径为例），其中第一行是进程所在的文件路径，每次运行都会把此路径添加进去，所以把库.py文件放在此文件夹下是可以找到的（跟进程.py并列）。但是，还需要将此库的路径加入path,因为默认情况下，python导入文件或者模块，会在sys.path里找模块的路径。如果在当前搜索路径列表sys.path中找不到该模块的话，就会报错。#3、导入某模块中的孙子模块中的xx方法，并重命名。#2、导入OS模块中的system方法。
2023-11-08 17:57:29
103
原创 有关源码。。。
是面向对象编程语言中接口操作的关键字，功能是把所需成员组合起来，用来封装一定功能的集合。它好比一个模板，在其中定义了对象必须实现的成员，通过类或结构来实现它。接口不能直接实例化，即ICount ic=new iCount ()是错的。
2023-11-07 22:52:02
103
原创 有关环境变量
用户变量仅对当前用户有效，系统变量对整个系统有效环境变量就是一个字符串，为了方便修改给隔开了（图形化界面）环境变量可以用来配置路径，也可以用来配置其他，比如图中的 NUMBER_OF_PROCESSORS，指明了系统中处理器核心是12个。！！！环境变量不仅只有路径，还可以提供其它信息。
2023-11-07 22:48:22
121
原创 有关python的代码执行顺序以及多线程
当实例化类对象时，会执行_init_，所以类的执行顺序是先执行__new__，再执行__init__，再执行普通方法，最后执行__del__#在主线程中执行join（），会等待thread对应的线程结束之后再执行后面的代码。主要是学习了threading.Thread()的使用方法。还有Lock函数会给数据加锁，让多线程先后访问数据。类的执行是从上往下，先只执行函数名(#执行start方法就会创建新线程。#创建Thread类的实例对象。#操作完共享数据后，申请释放锁。#操作共享数据前，申请获取锁。
2023-11-07 14:09:17
488
原创 有关python运行环境与VSCode
下图的每一个都是可选的python环境，Python 3.8.3（‘base’）是下载在电脑上的python环境（下载miniConda时一直点了next不小心下的），其它的都是下载在miniconda中的虚拟环境。scripts里面有pip.exe,pip包是一个.exe文件，.exe都要放到环境变量里才能执行，所以把pip包放到scripts里的话就相当于放到了环境变量里 就可以直接用pip命令管理包。scripts里面放着每次运行.py所需要的文件/python依赖的工具/可执行的文件。
2023-11-06 22:43:25
503
原创 【算法作业】动态规划与贪心的区别
其实贪心算法是一种特殊的动态规划，由于其具有贪心选择性质，保证了子问题只会被计算一次，不会被多次计算，因此贪心算法其实是最简单的动态规划。重叠子问题指的是子问题可能被多次用到，多次计算，动态规划就是为了消除其重叠子问题而设计的。最优子结构性质是指问题的最优解包含其子问题的最优解时，就称该问题具有最优子结构性质。
2023-11-06 22:27:39
45
原创 【自学记录】深度学习入门——基于Python的理论与实现（第4章 神经网络的学习）
【代码】【自学记录】深度学习入门——基于Python的理论与实现（第4章 神经网络的学习）
2023-09-26 16:24:53
570
原创 【自学记录】深度学习入门——基于Python的理论与实现（第3章 神经网络）
*init_network()**函数会进行权重和偏置的初始化，并将它们保存在字典变量network中。这个字典变量network中保存了每一层所需的参数(权重和偏置)。后面在进行神经网络的训练时，我们将介绍后向(backward,从输出到输入方向)的处理。**forward()**函数中则封装了将输入信号转换为输出信号的处理过程。另外，这里出现了forward (前向)一词，它表示的是从。
2023-09-23 13:18:35
472
原创 C语言内存分配
趁着准备复试多研究了一会C语言的内存分配问题 全部来源于此博客本篇仅用于总结＋自主学习使用首先上张图C程序由下面5部分组成：1、代码区/正文段text ——CPU执行的机器指令部分；一个程序只有一个副本；只读，防止程序由于意外事故而修改自身指令；2）静态变量区/初始化数据段（data）——在程序中所有赋了初值的全局变量、常量、静态变量。【静态内存分配】3）非初始化数据段（bss段）——未的全局变量；内核将此段初始化为0。【静态内存分配】4）栈——存放函数形参、局部变量、每次函数调用时所需要保存
2022-03-21 21:43:44
968
1
原创 【unity学习笔记】第一人称射击游戏（2）
这篇博客主要记录一下敌人自动寻路以及点击地面移动的相关知识点简单的自动寻路功能，新增了可以去多个位置巡逻using System.Collections;using System.Collections.Generic;using UnityEngine;using UnityEngine.AI;public class _nav : MonoBehaviour{ private NavMeshAgent foxNav; public Transform playerTran
2021-06-03 17:21:54
435
2
原创 【数字图像处理】0602课堂练习
%将图像中的胰腺用红线画出来img=imread('2.png');img_2=imread('1.png');%首先先腐蚀或膨胀提取出边界%腐蚀img=im2bw(img);%转化成了二值图se=strel('square',5);%生成结构元img2=imerode(img,se);%腐蚀图像figure,subplot(131),imshow(img),title('原图像');subplot(132),imshow(img2),title('腐蚀');%边界提取img3=im
2021-06-02 11:50:19
146
原创 【数字图像处理】噪点检测、区域生长、算子边缘检测、单阈值分割（第四章-图像增强 实验：图像分割与边缘检测）
噪点检测在图像中加入一个孤立噪声点，选择合适的算子将之检测出%点检测img=imread('flower.jpg');img(60,60)=0;figure,subplot(121),imshow(img),title('原图');n=3;[width,height]=size(img);img_1=double(img);img2=img_1;for i=2:width-n+1 for j=2:height-n+1 x=img_1(i:i+n-1,j:j+n-
2021-05-13 19:40:27
2002
原创 【数字图像处理】腐蚀、膨胀，标记分水岭分割算法 （第八章-图像的形态学描述）
腐蚀、膨胀%腐蚀img=imread('man.png');img=im2bw(img);se=strel('square',7);%生成结构元img2=imerode(img,se);figure,subplot(131),imshow(img),title('原图像');subplot(132),imshow(img2),title('腐蚀');//边界提取img3=img-img2;subplot(133),imshow(img3),title('原图像-腐蚀');%膨胀im
2021-05-13 19:09:14
380
原创 【Unity学习笔记】第一人称射击游戏
1、新建一个地面Plan。2、搭建好Player模型。把枪的模型拖入，调整好角度。由于是第一人称游戏。把camera也拖入Player下。3、编写playerMove脚本，实现asdw控制人物的前后左右移动 空格键跳跃的功能知识点1：由于是3D第一人称游戏，玩家的移动应以自身坐标轴为准，玩家移动脚本编写为 //人物的位移 以自身坐标为准 transform.Translate(new Vector3(x, 0, y)*speed*Time.deltaTime,Space.S
2021-05-13 15:31:52
1836
原创 【Unity学习笔记】大三下学期 射击类小游戏制作
虽然大二寒假做过一次，但已经快忘光光了。。所以这次要认真记录一下知识点！//0408更新总共实现了背景轮播、控制飞机走动、发射子弹的功能。有关背景图轮播就是两块Image顺序向下滚动，当第一张图片顶部走出摄像机视野范围时，将其的位置改变到第二张图片的上方 （我也不知道咋描述，反正以后我自己能看懂就行嘿嘿） 。void Update() { this.transform.Translate(Vector3.down * moveSpeed * Time.deltaTime
2021-04-08 21:57:22
400
1
原创 2020蓝桥杯省赛B组部分题解
之前比完赛着急去吃火锅了，不会的题也没有去想，现在赶紧拿出来溜溜。。。E题，七段码看了大佬的题解，恍然大悟。不就是一个图吗，不就是搜索一下去重吗？我怎么就不会呢。。。果然我的小脑袋瓜还是缺乏训练，只会套模板。。。。#include<iostream>#include<algorithm>#include<cstdio>#include<cstdlib>using namespace std;#define N 10000000int vis
2021-03-23 21:45:22
143
原创 【unity学习笔记】大三下学期 跳一跳小游戏制作
//仅一个挂在player上脚本如下，有时间再整理。。。using System.Collections;using System.Collections.Generic;using UnityEngine;using DG.Tweening;public class PlayerMove : MonoBehaviour{ Rigidbody _playerRB; public float Speed=10f; public float startTime; p
2021-03-18 21:03:32
814
1
原创 【算法笔记】【动态规划】ICPC训练联盟2021寒假冬令营（8）
01背包例题：洛谷P1048 添加链接描述#include<iostream>#include<cstring>#include<algorithm>#include<cstdio>using namespace std;#define N 1007 int T, M;int a[N][2];int dp[N];int main() { cin >> T >> M; for (int i = 1; i <
2021-01-27 22:00:26
176
原创 【算法笔记】【排序】ICPC训练联盟2021寒假冬令营（4、5）笔记
PPT：第五章 排序三个基础排序两数交换void swap(int* x, int* y) { int temp; temp = *x; *x = *y; *y = temp;}冒泡排序//冒泡排序 每次遍历两两比较，将最大元素互换到最后一个位置void bubble_sort(int arr[], int len) { for (int i = 0; i < len-1; i++) { for (int j = 0; j < len - 1 - i; j++) {
2021-01-21 16:27:38
358
1
原创 【算法笔记】【几何初步、数学初步、矩阵计算】ICPC训练联盟2021寒假冬令营（3）笔记
题目链接A题题解：枚举法+简单直线方程知识。本题采取枚举方法，在[-500, 500]的范围内枚举A和B，将樱桃坐标代入直线方程Ax+By，如果Ax+By大于0，则樱桃在直线方；小于0，则樱桃在直线下方；等于0，则不允许，因为樱桃不能在直线上。枚举直至产生第一个解。#include <iostream>#include<algorithm>using namespace std;int a, b;int charry[101][2];float pos(int a,
2021-01-20 23:01:33
555
1
原创 【Unity学习笔记】AI自动寻路
（不太明白原理啥的，先完成期末作业再说~~参考教程：点我）1、点击Window-AI-Navigation。2、选中需要烘焙的场景，点击Bake。3、若场景大的话右下角有进度条显示。4、烘焙完成5、编写适当脚本实现敌人自动寻路，攻击玩家功能。using System.Collections;using System.Collections.Generic;using UnityEngine;using UnityEngine.AI;public class WolfMove : M
2020-12-28 16:42:01
536
原创 【算法笔记】线性筛素数
每隔一个月忘一次。。。参考链接#include<cstdio>#include<cstdlib>#include<algorithm>#include<iostream>using namespace std;#define N 1000int prime[N], isPrime[N], cnt = 0;int n = 50;void Prime() { for (int i = 0; i < n; i++) isPrime[i]
2020-12-26 10:53:12
87
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人