机器学习入门必备
文章平均质量分 51
edward_zcl
这个作者很懒,什么都没留下…
展开
-
简单粗暴的fbprophet安装
基于作者本人实践,python3.6以上,centos7以上,gcc8以上比较靠谱,conda源在安装不同的库需要切换,而且有时候网络情况不同,安装所需要的时间也不同,安装者可以自己多尝试一下,也是一个学习的过程。这个库是典型的需要编译才能安装好的库,同时对版本要求高,甚至对python版本也有要求,有些库还需要不断修改适配,切换不同的源来安装不同的库,就是很折腾,反正不断试错,最终保证环境所需要的包全都兼容。建议:卸载,重新安装需要的包,按照依赖关系来处理附带包的安装。可以采用上述类似的方法,或者。原创 2023-03-17 11:03:27 · 1768 阅读 · 0 评论 -
MFCC/HMM/GMM/EM/LM基本知识
语音的识别对于人类来说是很自然的一个过程,但要让机器“听懂”却十分困难。一段音频文件,机器怎么才能知道它代表的是什么意思呢?要做的事,就是组CP:根据音频文件来判断对应的文本。当然,要让机器真正的“听懂”和“理解”,还涉及到很多其他的知识,语音识别只是其中一个环节。那么机器接收到左边这段语音之后,是怎么把它一口口吞下去,最后吐出来一个“two”呢?下图中,我们以最经典的基于GMM-HMM的语音识别为例,可以看到,经过数据准备、特征提取、训练、再到解码,就可以获取最终的结果。转载 2022-09-14 22:44:33 · 347 阅读 · 0 评论 -
二值神经网络(Binary Neural Network,BNN)
缺点:BNN在训练过程中仍然需要保存实数的参数,这是整个计算的瓶颈。BNN虽然需要保存实数的参数,但是实数范围是[-1,1],所以可以做压缩,即使用16bit或者更少的位数来表示浮点数。模型尺寸变小,正向传播计算速度变快,意味着可以将正向传播层放到客户端去做了,虽然随着网络带宽的增大,给服务器传个图片也么啥。将图像的特征学习和哈希码学习可以无缝整合到一起,因为都是二值化。暂时就这些!...转载 2022-08-15 01:02:11 · 2810 阅读 · 0 评论 -
tensorflow中用saver保存模型
我们在用tensorflow训练模型时,可能需要训练很长很长一段时间,为了方便下次使用,应该将模型保存起来。在sklearn中,我们可以使用pickle模块进行模型保存;而在tensorflow中,我们可以使用它自带的Saver()类进行模型的保存。 (一)Saver类 Saver类是用于保存和恢复变量的。它有将变量保存到checkpoint和从checkpoint中恢复变量的操作。 Checkpoints...转载 2022-05-21 15:49:53 · 508 阅读 · 0 评论 -
librosa.feature.mfcc参数介绍
不得不说,这个librosa函数包真好用,已经包装的这么便捷了,但是如果想要修改一下参数,还是需要了解一下它的函数定义的。 VOICE_LEN=32000#获得N_FFT的长度print("sr:" , sr)N_FFT=getNearestLen(0.25,sr)print("N_FFT:" , N_FFT)#统一声音范围为前两秒y=normalizeVoiceLen(y,VOICE_LEN)print(.转载 2022-05-21 15:36:28 · 622 阅读 · 0 评论 -
python给函数传入不定个数的参数(带*号的参数)
python函数传中,可以使用不确定参数,相当灵活。Tensorflow模块:tf.train.Checkpoint就支持这一种功能,很神奇的dict:https://www.jianshu.com/p/5006be1c5f59 我们在读python 代码时,经常会看到例如: test_func(*param) 这样的函数,这代表什么意思呢? 我们写代码来加深对这个带*号参数的理解: 情况一: 看这段代码 #.转载 2022-05-21 15:30:31 · 2108 阅读 · 0 评论 -
tf.train.latest_checkpoint()自动寻找最新的checkpoint
tf.train.latest_checkpoint()函数的作用查找最新保存的checkpoint文件的文件名(Finds the filename of latest saved checkpoint file.)。tf.train.latest_checkpoint( checkpoint_dir, latest_filename=None)Args:checkpoint_dir: Directory where the variables were saved.;late转载 2022-05-21 15:21:31 · 2176 阅读 · 0 评论 -
安装python库报错:Consider using the `--user` option or check the permissions.
输入:pip install django 报错:Consider using the --user option or check the permissions. 解决办法 :pip install --user django 更多参考https://blog.csdn.net/weixin_4...转载 2022-05-16 19:49:09 · 155 阅读 · 0 评论 -
Python编程---sys.path & sys.arg &os.path.join
1、源码 import osimport sysCUR_DIR=sys.path[0]PROGRAM_NAME=sys.argv[0]SOURCE_FILE_ABS_PATH=os.path.join(CUR_DIR, PROGRAM_NAME) if __name__ == "__main__": print("Welcome Python test program...") print("D...转载 2022-05-07 15:19:27 · 111 阅读 · 0 评论 -
python中end=“ “的含义
python的版本在不断更新,有些使用方法也在不断改进。 一般出现在print()函数中,如print(a,end=" “)。 这是因为print默认是打印一行,结尾加换行。end=” "的意思是为末尾end传递一个空字符串。 如下: print(",")print(1)print(",") 结果显示: ,1, 加了end之后: print(end=",")print(end="1")print.转载 2022-05-02 15:53:55 · 8314 阅读 · 3 评论 -
异常解决(一)-- RuntimeError: expected device cpu but got device cuda:0
不同版本的软件,哟普不同的容错机制,但是有时候可以自己修改解决一些问题。 最近在编写深度学习的相关代码,基于PyTorch,运行程序的时候,报错,报错内容如下所示: RuntimeError: expected device cpu but got device cuda:0 归根结底,这个错误出现的主要原因是GPU类型的数据和CPU类型的数据不匹配。了解了错误的本质原因,那如何解决就非常简单了。 首先,需要分析大.转载 2022-05-01 12:00:25 · 1577 阅读 · 0 评论 -
torch.save()
保存为pt或者pth都可以,前提似乎都得先mkdir或者makedirs,不能直接save到一个即时指定的文件夹下。 pytorch保存模型等相关参数,利用torch.save(),以及读取保存之后的文件 本文分为两部分,第一部分讲如何保存模型参数,优化器参数等等,第二部分则讲如何读取。 假设网络为model = Net(), optimizer = optim.Adam(model.parameters(), lr=.转载 2022-04-30 22:50:11 · 4950 阅读 · 0 评论 -
liunx中如何使用export设置环境变量
1. 设置环境变量 export 变量名=值 2. 删除环境变量 unset 变量名 参考: liunx 中如何删除export设置的环境变量 - fuhaizi - 博客园 (cnblogs.com) 一个比较好的实践:https://blog.csdn.net/qq_40290810/article/details/124253840...转载 2022-04-30 16:47:04 · 69 阅读 · 0 评论 -
CV2的conda安装
conda安装cv2库 conda install opencv-python或者 pip install opencv-python(不过好像是这个比较有效) 更多参考https://blog.csdn.net/mathematican/article/details/119345013...转载 2022-04-30 16:44:46 · 5182 阅读 · 0 评论 -
解决CondaVerificationError: The package for pytorch located at...
千万不要在base环境下随便安装东西,否则可能导致其他环境永不了,就算更新了anaconda,恢复了环境,可能base小标志也没了,有一点小变化。anaconda虚拟环境的处理还是很复杂的,动了一些路径,更改了版本,随意更改了驱动或者底层库,甚至导致conda命令都用不了。 原因:之前安装包缓存未清理,导致安装包不能正常安装。 解决方法: conda clean --all< 参考: [1] Anacond.转载 2022-04-30 16:42:08 · 7958 阅读 · 2 评论 -
使用os.mkdir()创建目录报错:FileNotFoundError: No such file or directory
os.mkdir()报错解决:FileNotFoundError: No such file or directory import osimport loggingdir_checkpoint = 'checkpoint/train/20200313/'os.mkdir(dir_checkpoint)>>>FileNotFoundError: [Errno 2] No such file or...转载 2022-04-29 16:35:46 · 3168 阅读 · 0 评论 -
最全面解析 Ubuntu 16.04 安装nvidia驱动 以及各种错误
解析 Ubuntu 16.04 安装nvidia驱动 各种错误 0.环境1.安装方式说明 1.1ppa源安装1.2手动run文件安装 2.run文件安装详解 2.1手动下载驱动2.2卸载旧驱动2.3安装可能需要的依赖(可选,脸红可以跳过)2.4禁用noueau驱动2.5进入blos关闭secure boot (华硕还有fast boot)2....转载 2022-04-29 16:32:49 · 972 阅读 · 0 评论 -
4种方法转义字符解决报错FileNotFoundError: [Errno 2] No such file or directory
多半是python版本的问题或者是你输入有问题,比如pytorch FileNotFoundError: [Errno 2] No such file or directory: ‘False’ 写在前面: 前面的案例不想看可以直接看结尾的4个结论。 直接看第4个结论,就是文章的最后。二八定律。【方法4通用性极强】 快速跳转至 通用性方法4 QQ:1981791622。 备注:我是CSDN道友 源代码: with op.转载 2022-04-29 11:58:59 · 43928 阅读 · 18 评论 -
RuntimeError: Unable to find a valid cuDNN algorithm to run convolution
不得不说,算力太强,版本太新也是一种烦恼哈哈 在安装torch时,一定要注意显卡的cuda版本问题。 比如,在 RTX2080上 同样的环境中 程序可以正常运行,而换到A100中,就会报错如下: NVIDIA A100-PCIE-40GB with CUDA capability sm_80 is not compatible with the current PyTorch installation. T.转载 2022-04-29 11:52:46 · 16980 阅读 · 0 评论 -
RuntimeError: expected scalar type Double but found Float
自带的type还是不够好用,用数据类型自带的方法或者属性访问更加清晰,pytorch默认的数据类型是float,numpy默认是float64或者叫double,两者不能混合使用,matlab默认是double好像,除此之外,还要注意gpu上的tensor操作以及tensor的类型(变量还是常量),是否需要梯度等等,tensor之间的计算操作等。(pytorch17) [stu514-17@server5 ANN2SNN_tool_chain]$ python ann2snn.py example_net转载 2022-04-29 11:42:30 · 14729 阅读 · 1 评论 -
ModuleNotFoundError: No module named ‘yaml‘
运行 Python 文件遇到问题 ModuleNotFoundError: No module named 'yaml' 时,说明当前 Python 环境缺少该包,使用 pip 安装该包即可,但要注意的是安装的包名不是 yaml 而是 pyyaml,即 pip install pyyaml。 ———————————————— ...转载 2022-04-28 23:20:21 · 631 阅读 · 0 评论 -
python--argparse之action用法
argparse之action用法 action关键字默认状态有两种,store_true和store_false,若输入命令时,不指定其参数,则store_true显示为False,store_false显示为True。下面举个例子来直观感受一下. import argparseimport osfrom pathlib import Pathparse = argparse.ArgumentParse...转载 2022-04-28 21:51:16 · 541 阅读 · 0 评论 -
pytorch模型可视化:pytorchviz
这个包似乎是用来做可视化的,用于辅助pytorch,多用pip以及conda换着装,名字也可以换成pytorchviz或者torchviz,或者换源,卸载重装等,多试几次,观察规律。。 1. 安装依赖和pytorchviz pip install graphvizpip install torchviz (或pip install git+https://github.com/szagoruyko/pytor.转载 2022-04-28 21:48:28 · 1030 阅读 · 0 评论 -
pytorch加载模型错误 RuntimeError: Error(s) in loading state_dict for Model: Missing key(s) in state_dict
模型在保存时侯以键对值保存,同时在加载时根据现在网络的键值查找模型对应的键值,然后加载。一般报错是因为模型和网络的键值不匹配。 1、最常见的问题是键值多了或者少了 module. 此种情况是模型在DataParallel或者DDP训练后保存的键值有module. ,对应的网络的键值则没有module. 1)可以通过: model = nn.DataParallel(model) 将模型的键值...转载 2022-04-28 15:57:11 · 2641 阅读 · 1 评论 -
(已解决torchvision中CIFAR10下载速度慢)如何下载以及使用torchvision导入
背景 train_set = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) 速度超级慢,慢得直接报错: urllib.error.URLError: urlopen...转载 2022-04-27 12:37:03 · 1779 阅读 · 3 评论 -
tensorflow 出现 ... np_resource = np.dtype([(“resource“, np.ubyte, 1)]) 解决办法
/home/yuki/.local/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:523: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be...转载 2022-04-22 19:52:07 · 933 阅读 · 0 评论 -
窥探当今AI芯片中的类脑模型(转)
来源:脑人言 撰文丨邓 磊(加州大学-圣塔芭芭拉分校UCSB 博士后) 责编丨高茂森 Soma 排版丨夏獭 科学研究的动机,并非仅仅是出于能看到多酷炫的应用,而是因为我们尚有诸多未知世界需要探寻,这是一切应用的前提。 AI芯片如火如荼 AI芯片是当今人工智能热潮中不可或缺的一个名词,且受国际局势影响愈加受到重视。摩尔定律难以为继,通用处理...转载 2022-04-06 17:15:50 · 948 阅读 · 0 评论 -
Linux系统性能的四个指标:CPU、内存、磁盘、网络
Linux系统调优时需要用到一些工具来查看和分析CPU/内存/磁盘/网络的情况,先根据四个方面对接的工具进行介绍。 一、CPU性能调优工具 1. vmstat命令 vmstat(virtual memory statistics 虚拟内存统计)的缩写。 使用语法: vmstat [-V] [-n] [delay [count]] [root@master79100 ~]# vmstat 3 5procs ---...转载 2022-03-30 17:16:24 · 1659 阅读 · 0 评论 -
指令集结构与微体系结构
我们可以这样区分处理器的指令集结构与微体系结构:指令集结构描述的是每条机器代码指令的效果;而微体系结构描述的是处理器实际上是如何实现的。在处理器里,指令集结构提供了对实际处理器硬件的抽象。使用这个抽象,机器代码程序表现的好像它是运行在一个一次只执行一条指令的处理器上。 指令顾名思义就是用来引导某一硬件工作的方式的,集即集合的意思,也就是很多种不同引导指令的集合! 指令集是存储于CPU内部,用来引导CPU进行加减运算和.转载 2022-03-28 17:36:41 · 427 阅读 · 0 评论 -
ValueError: could not broadcast input array from shape (201,201,3) into shape (201,201)
不得不说,numpy数组的广播能力太强了,很多设定如果你不知道的话,有时候反而会造成一些错误,比如这里的np.array()函数。问题引出:https://blog.csdn.net/qq_36430012/article/details/114667153test_data = np.array(test_data)#错误语句,原因是test_data中的图片维度不同,2维和3维混杂#我的解决方法是在读取原图的语句后面添加 mode=“RGB”#一般用opencv读取的图片都是mode="RG.转载 2022-03-28 15:28:57 · 2723 阅读 · 0 评论 -
Numpy 中的 ravel() 和 flatten()函数
Numpy 中的 ravel() 和 flatten()两个函数可以对多维数据进行扁平化操作。 flatten()返回的是一个数组的的副本,新的对象;ravel() 返回的是一个数组的非副本视图。示例:numbers = [i* 10 + j for i in range(1, 5) for j in range(1, 5)]arr = np.array(numbers).reshape(4, 4)arr1、flatten()a1 = arr.flatten()a1flatte.转载 2022-03-26 17:52:33 · 1422 阅读 · 0 评论 -
3D点云系列(一)点云介绍
点云数据简介 点云数据(point cloud data)是指在一个三维坐标系统中的一组向量的集合。扫描资料以点的形式记录,每一个点包含有三维坐标,有些可能含有颜色信息(RGB)或反射强度信息(Intensity)。 我们常用的点云数据为激光雷达采集的数据,激光雷达的非接触式测量特点,具有测量速度快、精度高、识别准确等优点,成为移动机器人定位导航的核心传感器。在激光雷达技术领域中,目前主要通过三角测距法与TOF方法来进行测...转载 2022-03-22 11:03:01 · 4905 阅读 · 0 评论 -
在文件末尾添加文本_MATLAB操作之文件读取
还有wt用法,以及matlab变态函数的使用。。 MATLAB的每一个脚本文件,几乎都涉及到文件的读写操作,我以几个案例来分析MATLAB的文件读取的基本操作。 1. 打开与关闭文件 打开文件的函数为fopen,关闭文件的函数为fclose。这里将MATLAB中help帮助的内容拿出来介绍具体。 FID = fopen(FILENAME,PERMISSIO.转载 2022-03-21 21:47:38 · 1245 阅读 · 0 评论 -
https://blog.csdn.net/Jinyindao243052/article/details/107220951
numpy.prod(a, axis=None, dtype=None, out=None, keepdims=, initial=, where=) Return the product of array elements over a given axis. 官方链接 a [array_like] Input data. axis [None or int or tuple of ints, optional] ...转载 2022-03-21 21:33:17 · 93 阅读 · 0 评论 -
python中plt.imshow()不显示图片
python画图函数可能是需要一些设置,或者一些特定的函数运行才会出现图片的。 Python中plt.imshow(image)无法显示图片解决办法 使用plt.imshow()发现不能显示图片,加了plt.show()也还是不能显示 先引入包pylab import pylab 然后在plt.imshow(img)后面添加一行代码 pylab.show() 图片框就显示出来了 参考链接:https://blo.转载 2022-03-21 21:31:19 · 4574 阅读 · 12 评论 -
python 条件语句且,Python 条件语句
我是奔着里面的动图转载的。。 Python 条件语句 Python条件语句是通过一条或多条语句的执行结果(True或者False)来决定执行的代码块。 可以通过下图来简单了解条件语句的执行过程: Python程序语言指定任何非0和非空(null)值为true,0 或者 null为false。 Python 编程中 if 语句用于控制程序的执行,基本形式为: if 判断条件: 执行语句…… .转载 2022-03-21 21:21:10 · 2871 阅读 · 0 评论 -
numpy逻辑运算符
转载 2022-03-21 21:20:03 · 242 阅读 · 0 评论 -
python中逻辑与或(and、or)和按位与或异或(&、|、^)区别
首先说明一下,在python中是没有&&及||这两个运算符的,取而代之的是英文and和or。其他运算符没有变动。python中逻辑与或(and、or)和按位与或异或(&、|、^)区别python且、或使用and, or来实现例如:i=1j=2if i==1 and j==2: print('且')参考:https://blog.csdn.net/wzx1286474341/article/details/80465794https://blog.csd.转载 2022-03-21 21:14:43 · 5949 阅读 · 0 评论 -
TensorFlow中出现Nan值的解决办法
转载地址:http://blog.sina.com.cn/s/blog_6ca0f5eb0102wr4j.html 之前在TensorFlow中实现不同的神经网络,作为新手,发现经常会出现计算的loss中,出现Nan值的情况,总的来说,TensorFlow中出现Nan值的情况有两种,一种是在loss中计算后得到了Nan值,另一种是在更新网络权重等等数据的时候出现了Nan值,本文接下来,首先解决计算loss中得到Nan值的问...转载 2022-03-21 20:51:14 · 1413 阅读 · 0 评论 -
CNN飞机识别-基于paddlepaddle高级API(附详细代码讲解)
前言 在使用paddlepaddle实战完手写数字集识别后,开始了新的一轮实战-飞机识别。 与之前不同的是,这次的项目使用更加高级的框架api接口,代码集成度更高,但是同样的也出现了一个问题,课程中并没有对这些api进行讲解。 我花了两个多小时,通过查看源代码,终于搞清楚了这些api。下面,我们分享给大家! 文章目录 前言CNN飞机识别网络结构数据集以及项目说明代码解析高级API讲解总结参考资料 CN...转载 2022-03-04 22:54:28 · 728 阅读 · 1 评论