- 博客(47)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 神经网络之图解CNN
CNN 主要用于处理图像、自然语言等二维/三维、对平面感知要求较高的数据，具有局部感知能力（卷积功能，即矩阵的点乘）和空间不变性（滤镜（filter）的权重不变），而 DNN 则更加通用，可用于各种类型的数据处理任务，特别是高维度、非线性、复杂性强的数据。在实际应用中，选择恰当的网络结构和参数设置非常重要。CNN主要由四个层结构构成：输入层（Input Layer）、卷积层（Convolution Layer）、池化层（Pooling Layer）、全连接层（Fully Connected Layer）
2023-06-11 22:47:06
258
原创 多线程python实现和多线程有序性
多线程一般用于同时调用多个函数，cpu时间片轮流分配给多个任务。 优点是提高cpu的使用率，使计算机减少处理多个任务的总时间；缺点是如果有全局变量，调用多个函数会使全局变量被多个函数修改，造成计算错误，这使需要使用join方法或者设置局部变量来解决问题。python使用threading模块来实现多线程，threading.join()方法是保证调用join的子线程完成后，才会分配cpu给其他的子线程，从而保证线程运行的有序性。...
2022-06-29 12:39:35
675
1
原创 Pytorch架构随机种子设定
文章目录前言一、CPU训练模型的随机种子设定二、GPU训练模型的随机种子设定1.引入库2.读入数据总结前言在利用pytorch架构构建神经网络时，常常需要随机初始化权重（weight）和偏置（bias）等参数，为了保证训练模型的可复制化，我们需要在训练模型之前进行随机种子的设定。具体可以分为在CPU训练模型和在GPU训练模型设定随机种子。提示：以下是本篇文章正文内容，下面案例可供参考一、CPU训练模型的随机种子设定比如每次运行代码，我都希望通过CPU生成一致的随机数，代码如下import t
2022-05-24 20:17:21
1052
2
原创 数据分析之分组groupby方法
本文使用 python 3, pandas 1.3.5 , numpy 1.22.0库文章目录前言一 、groupby使用公式二、python实现2.1 直接对分组数据做聚合运算2.2 对分组数据做自定义运算前言pandas.DataFrame.groupby方法就是DataFrame类型或者Series类型根据index/column 进行分组，然后对某列/某些列进行处理的过程一 、groupby使用公式**需要处理的某列或者某些列.groupby(作为分组标准的列/作为分组标准的列的lis
2022-03-07 13:33:04
3012
原创 数据分析之滚动窗口pandas.DataFrame.rolling方法
本文使用pandas 1.3.5 , python 3, numpy 1.22.0库文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步
2022-02-03 22:54:03
8180
原创 数据分析之datetime库的常见使用--字符串和datetime类型数据的相互转化
font color=#999AAA >说明：本blog基于python3文章目录前言一、字符串转化为datetime类型数据二、datetime类型数据转化为字符串总结前言本文主要介绍datetime模块的字符串和datetime相互转化功能。一、字符串转化为datetime类型数据使用datetime.datetime.strptime(字符串，目标格式)方法其中，目标格式有如下多种%Y 四位年份%y 二位年份%m 二位月份%d 二位日期%H 24小时制%I 12小时制
2022-02-03 17:18:07
2345
原创 详解Matplotlib库的使用
说明：本blog基于python3，matplotlib 3.5.1， numpy 1.22.0文章目录前言一、创建（初始化）图表对象1.1 在新图表中逐个新的子图表1.2 在图表中创建行，列共享坐标的子图表二、对每个子图进行绘图（折线图）三、对子图进行进一步加工四、图片保存总结前言可视化操作广泛应用于数据分析和机器学习中，它可以帮助人们更直观地观测到异常值或所需地数据转换效果；matplotlib作为python的一个桌面绘图包，可以生成出版级质量的图表；该工作包与2002年由John Hunt
2022-01-13 20:00:29
793
原创 Pandas常见方法（5）-DataFrame逐列填补Nan值
说明：本blog基于python3版本, pandas 1.3.5文章目录前言代码实例前言我们在日常工作中,拿到第一手的数据集通常有很多nan值;本文介绍一种根据DataFrame2 来 逐列填补DataFrame1 中nan 值的方法,公式: DataFrame1.combine_first(DataFrame2), 返回一个DataFrame1和DataFrame2 长度,宽度分别取DataFrame1和DataFrame2最大值的新的DataFrame代码实例import panda
2022-01-12 10:30:30
3796
原创 Pandas常见方法（3）-pandas分层索引构建、按层级对换和排序、按层级聚合
说明：本blog基于python3， pandas 1.3.5， numpy 1.22.0版本文章目录前言一、分层索引构建1.1 Series数据结构1.2 两层索引的Series转化为DataFrame1.3 DataFrame数据结构二、DataFrame按层级对换和排序2.1 命名层级2.2 交换层级2.3 层级排序三、DataFrame按层级聚合总结前言本文主要介绍pandas的分层索引构建，按层级对换和排序，按层级聚合，共3个部分。并附有代码实例。其中分层索引构建由Series和Data
2022-01-11 19:36:34
1930
原创 机器学习 VS 表示学习 VS 深度学习
文章目录前言一、机器学习是什么?二、表示学习三、深度学习总结前言本文主要阐述机器学习, 表示学习和深度学习的原理和区别.一、机器学习是什么?机器学习(machine learning), 是从有限的数据集中学习到一定的规律, 再把学到的规律应用到一些相似的样本集中做预测. 机器学习的历史可以追溯到20世纪40年代 McCulloch提出的人工神经元网络, 目前学界大致把机器学习分为传统机器学习和机器学习两个类别.其中传统机器学习更多地关注于特征提取(提取数据集中有效地特征)和特性转化(对提取的特.
2022-01-11 12:00:50
2337
原创 Pandas常见方法（2）-pandas对数据的预处理
说明：本blog基于python3， pandas 1.3.5版本文章目录前言一、对缺失值处理1.1 缺失值过滤1.2 缺失值补全二、数据转换2.1 某列重复值删除2.2 某列/某些列数据映射2.3 某列数据替换2.4 DataFrame所有数据替换三、分箱和分位数总结前言本文主要介绍如何对数据做预处理，包括 缺失值过滤、缺失值补全、数据转换（重复值删除，数据映射、数据替换）、简单运算自动对齐与函数处理、统计运算和排序，共5个部分。并附有代码实例。【注：本文所有部分根据pandas中的基础数据结
2022-01-10 15:00:27
2676
原创 Pandas常见方法（1）-pandas索引重建、按轴删除条目、选择与过滤、自动对齐与函数处理、统计运算和排序
说明：本blog基于python3， pandas 1.3.5版本文章目录前言一、索引重建二、按轴删除条目三、选择与过滤四、自动对齐与函数处理五、统计运算和排序总结前言本文主要介绍pandas所有常见基础用法，包括 索引重建、按轴删除条目、选择与过滤、简单运算自动对齐与函数处理、统计运算和排序，共5个部分。并附有代码实例。【注：本文所有部分根据pandas中的基础数据结构进行分类讲解，Series 和 DataFrame】一、索引重建公式1： Series.reindex(新索引列表，met
2022-01-10 01:19:32
1262
原创 Pandas 常见方法（0）-pandas 基础数据结构
说明：本blog基于python3版本, pandas 1.3.5， numpy1.22.0文章目录前言一、Series 数据结构二、DataFrame 数据结构三、索引对象的不可更改性总结前言本文主要介绍pandas 的基础数据结构， Series和 DataFrame 及索引在两种数据结构中的作用。一、Series 数据结构Series是一维的数组型对象，它由两部分组成：索引（也称为数据标签，index） 和 值序列（索引所对应的数据）【注：默认索引为从0到N-1，N代表值序列的长度】
2022-01-08 10:55:22
716
原创 Numpy常见方法（8）-伪随机数的生成
说明：本blog基于python3版本, numpy 1.22.0文章目录前言一、伪随机数及常用统计分布二、应用实例前言numpy.random 模块弥补了python内置random模块的不足；从经验上讲，在生成大量随机数时，numpy.random的效率时python内置random模块的一个数量级。一、伪随机数及常用统计分布伪随机数就是通过计算机模拟（stimulate）某种统计学分布而形成的样本值。主要的numpy.random 方法有 ：设置全局随机种子（常见于神经网络的算法
2022-01-05 16:52:28
1298
原创 Numpy常见方法（7）-求解多元线性方程组np.linalg.solve方法
说明：本blog基于python3版本, numpy 1.22.0文章目录前言一、numpy.linalg.solve方法的输入和输出二、应用实例总结前言np.linalg.solve方法主要是快速求解多元线性方程组【注意：如果系数矩阵不是方阵或者不是singular的，就会报LinAlgError异常】一、numpy.linalg.solve方法的输入和输出如果我们的目标方程是 a * X = b, 其中 a 是系数矩阵，b是常数矩阵；那么numpy.linalg.solve方法的输入服
2022-01-05 16:22:17
4606
原创 Numpy常见方法（5）-sort方法、unique方法和in1d方法
说明：本blog基于python3版本, numpy 1.22.0文章目录前言一、sort方法1.1 首先，我想对数组a的进行“全元素”排序，1.2 然后利用sort方法，对a的做“行”排序二、unique方法三、in1d方法总结前言本文主要介绍numpy的三种方法：sort，unique和in1d方法一、sort方法numpy.sort(目标数组)方法是对数组进行全元素/按轴进行排序【注：numpy.sort(目标数组)方法返回的是原数组的copy， 而不是“视图”】【注：目标数组.so
2022-01-05 12:35:44
2772
原创 Numpy常见方法（4）-数学和统计方法
说明：本blog基于python3版本, numpy 1.22.0文章目录前言一、数学统计方法的全元素操作二、数学统计方法的按轴操作总结前言numpy的数学统计方法主要有7个，分别是 sum（求和），mean（求均值），std/var（求标准差/方差），min/max（求最大/最小值），argmin/argmax（求最大/最小值的位置），cumsum（求累和），cumprod（求累积）一、数学统计方法的全元素操作数学统计方法的全元素操作，对函数无需加入参数axis；比如我想求数组a的全元素最
2022-01-05 11:30:00
722
原创 Numpy常见方法（3）-条件逻辑np.where方法
说明：本blog基于python3版本, numpy 1.22.0文章目录前言一、numpy.where方法的输入和输出二、numpy.where方法应用实例总结前言numpy的where方法主要应用是三元表达式 x if condition else y 的向量化版本；【说明：向量化是numpy的特有术语，指的是对ndarray数据中的所有元素进行类似标量的操作】一、numpy.where方法的输入和输出numpy.where方法的输入格式服从公式：numpy.where(conditi
2022-01-05 10:31:01
962
原创 导入mlp_toolkits包报错，已解决
本人在应用matplotlib库画三维图时，出现mlp_toolkits 导入报错的情况，后查明原因是因为matplotlib库没有更新到最新版本，导致无法导入mlp_toolkits.使用如下方法即可解决:在终端的python环境，输入pip install --upgrade matplotlib更新后，可以就正常使用mlp_toolkits啦...
2022-01-04 23:44:06
3126
原创 Numpy常见方法（2）-生成网格数组 meshgrid方法
说明：本blog基于python3版本, numpy 1.22.0，matplotlib 3.5.1文章目录前言一、meshgrid方法的输入和输出二、应用meshgrid方法画三维图总结前言numpy的meshgrid方法主要应用是画网格图，可以是二维的，也可以是三维的；一、meshgrid方法的输入和输出meshgrid方法主要是产生画网格图所需的行坐标和纵坐标；meshgrid方法的输入是两个一维ndarray类型的数组；输出是一个由两个二维ndarray类型数据组成的list，且两个二
2022-01-04 23:32:55
1031
原创 Numpy常见方法（1）-创建numpy对象和numpy基本属性、numpy的切片及常见错误和numpy常见通用函数
说明：本blog基于python3版本, numpy 1.19.5文章目录前言一、创建numpy对象和numpy基本属性二、numpy的切片及常见错误三、numpy常见通用函数总结前言我们在Numpy常见方法（0）中详细介绍了numpy在做大量数据运算处理的优势及底层原理，本文主要是介绍如何把numpy应用到实际工作中，包括三个方面：创建numpy对象和numpy基本属性、numpy的切片和numpy常见通用方法。在这之前我首先介绍一个贯穿numpy应用的概念：ndarray；ndarray是p
2022-01-04 15:26:27
1144
1
原创 Numpy常见方法（0）-numpy与python循环方法相比的优势所在
说明：本blog基于python3版本， numpy 1.19.5版本文章目录前言上料总结前言numpy， 全程numerical python， 是目前python数值运算中最为重要的基础包。本文主要对比使用numpy和python的循环方法对大量数据进行运算的效率情况。上料首先，我们分别使用numpy和list定义一个10,000,000大小的数据，代码如下【注：需要提前请安装numpy库，详情可参照】import numpy as npnp_array = np.arange(10
2022-01-04 11:37:46
387
原创 Python常见方法（6）-优雅地处理错误和异常
说明：本blog基于python3版本文章目录前言第一种、try + except 格式处理第二种、try + except(具体异常) 格式处理第三种、try + except+else + finally 格式处理总结前言优雅地处理python的异常或错误是构建稳定程序的重要组成部分.本文主要介绍三种处理异常或错误的格式,方便应用和记忆.比如我们写一个方法 make_float, 使输入值转化为浮点数并返回代码如下def make_float(x): return float(x)
2022-01-03 20:29:52
580
原创 Python常见方法（5）-dictionary的可更改性和创建、增删元素、拼接和由list生成dictionary详解
说明：本blog基于python3版本文章目录前言一、dictionary的可更改性和创建二、dictionary的增删元素方法三、dictionary的拼接、list转化dictionary方法总结前言一、dictionary的可更改性和创建dictionary是python中的一种常见数据类型，中文名叫字典，哈希表或者关联数组；python中的数据类型分为可以更改的数据类型和不可以更改的数据类型，而dictionary属于可以更改数据类型，即可以对dictionary某个位置元素进行二次赋值
2022-01-03 17:28:47
781
原创 Python常见方法（4）-list的可更改性和创建、增删元素、拼接切片和排序配对方法详解
说明：本blog基于python3版本文章目录前言一、list的可更改性和创建二、list的增删元素方法三、list的拼接、切片方法四、list的排序、配对方法总结前言一、list的可更改性和创建list是python中的一种常见数据类型，中文名叫列表；python中的数据类型分为可以更改的数据类型和不可以更改的数据类型，而list属于可以更改数据类型，即可以对list某个位置元素进行二次赋值！我们用代码来重新阐述一下list的这个基本属性。比如，我们设置一个叫a的list，值为 1，2，3
2022-01-03 09:25:37
659
原创 Python常见方法（3）-tuple的赋值报错、拆包、计数和拼接
说明：本blog基于python3版本文章目录前言一、tuple的常见赋值报错二、tuple拆包三、tuple计算某个元素的重复次数总结前言一、tuple的常见赋值报错tuple是python中的一种常见数据类型，中文名叫元组；python中的数据类型分为可以更改的数据类型和不可以更改的数据类型，常见的可以更改的数据类型包括list（列表），dictionary（字典），Numpy（全称为 numerical numpy，而元组是不可更改的数据类型；什么意思呢？从元组中元素的角度，元组中对应位置
2022-01-02 22:48:01
2392
原创 Python常见方法（2）-iterator的map方法
文章目录前言一、以list类型作为map的输入对象二、以dictionary类型作为map的输入对象前言Map作为一种常见的python方法，在python代码学习中是必备方法；Map方法的作用对象是iterator，比如list，dictionary, tuple；Map方法的返回对象在python 2.x和 python 3.x略有差别；python2.x 中返回的是list类型对象，python3.x中返回的是iterator类型对象；Map方法的输入形式为 map(function, iter
2021-12-24 17:38:28
935
原创 深度神经网络（DNN）的反向传播算法总结与图解
文章目录前言第一个问题第二个问题第三个问题总结前言其实，深度神经网络的反向传播我们只需知道这个算法的理念，即这个算法的目标方程是谁，对目标方程做什么运算，为什么这样做或者这样做的好处是什么？解决了以上三个问题，你也就相当于掌握了反向传播的精髓。第一个问题目标方程是损失函数（loss function），根据问题本身会有差异；比如分类问题，我们常用交叉熵（cross entropy）作为损失函数，这样能很好的预测分类结果的分布；如果是回归问题，我们常用mse（误差平方的平均值）作为损失函数，这样.
2021-12-07 14:41:03
1865
原创 机器学习中分类问题的四大评价指标和ROC曲线
文章目录前言一、accuracy二、precision三、recall四、f1-score总结前言我们知道机器学习分为回归问题和分类问题；同时，评价指标在模型训练和评价中占据着举足轻重的地位；本文主要介绍分类问题常见的四个评价指标，accuracy，precision， recall 和f1-score。在明确以上四个评价指标的定义和用途之前，我们需要知道四个概念；在二分类问题中，TP 是测试集上的样本为positive（正），我们的模型代入该测试集样本预测仍为正；TN 是测试集上的样本为negat.
2021-12-01 17:28:56
1934
原创 format的打印方法
在编写python程序时，我们常想把自己感兴趣的东西打印在console上，除常见的直接打印print方法外，对某一不断变化的变量我们也想只写一行代码打印出来，这里给大家推荐format+print 方法；闲话少说，直接上料！文章目录前言一、基本语法格式二、两种常见的应用场景常见应用场景一：对不断迭代的变量进行打印常见应用场景二：对不同的多个变量进行位置调换总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就
2021-12-01 14:33:02
1282
原创 音频文件格式转化，librosa库支持的语音文件类型
语音文本格式转化及在librosa库的语音文本输入要求闲话少说，直接上料！python的librosa库是语音模型进行语音特征提取的常见的库；但使用时请注意，librosa库仅支持wav格式的语音文件！！！如果你上传的文件格式为m4a，则可通过ffmpeg对语音文件的格式进行转换，前提是安装ffmpeg！！！对于常见的苹果手机/电脑录音，音频格式为m4a；如果我们把它转化为wav格式，进行如下操作ffmpeg -i 需要转化的文件名.m4a 目标文件名.wav其中，目标文件名自己定义，转化后的
2021-11-26 13:40:49
3566
原创 NLP: 0基础应用T5模型进行文本翻译代码实例～
文章目录前言一、目标文本是什么？二、模型调用步骤1.引入库2.导入模型，本文使用 t5-base3.使用分词器对目标文本进行分词4.对刚刚生成的分词结果进行目标语言的生成工作5.对生成的目标语言进行解码工作，就可得到目标语言的文本，并打印前言Google的T5模型从2019年发布到今天雄风依旧；在翻译，文本分类，智能问答，文章摘要等方面都取得SOTA地位；本文使用T5的翻译功能完成 文本从一种语言翻译到另一种语言的翻译功能，我们可以使用把模型最后输出的目标语音文本代回到google翻译器中进行进一步.
2021-11-17 11:39:38
5613
6
原创 VScode上使用SSH进行远程脚本调试，亲测有效
文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言python作为一种常见开发语音，经常会涉及debug问题；VScode平台的轻便性为python文本的debug提供了可能；本文主要介绍如何在VScode上进行远程服务器运行代码的debug提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下（示例）：import num.
2021-11-12 14:25:57
2254
原创 numpy.hstack VS numpy.vstack VS numpy.dstack 的应用比较，超清晰～
闲话少说，直接上重点；hstack，vstack 和dstack是numpy的常见的三个numpy.array 的拼接方式；不同点是，hstack是从水平（horizon）维度进行拼接，相当于numpy.concatenate(, axis = 1); vstack是从垂直（vertical）维度进行拼接，相当于numpy.concatenate(, axis = 0);dstack是从第三个维度，深度（deep）维度进行拼接，相当于numpy.concatenate(, axis = 2)；另外，需注意
2021-11-11 15:30:03
784
原创 机器学习中回归模型六大评价指标
文章目录一、机器学习中，回归问题的六大评价指标是什么？二、六大评价指标都代表什么含义？如何进行模型评价？总结引用文章链接：一、机器学习中，回归问题的六大评价指标是什么？ 回归问题五大评价指标分别为 皮尔逊相关系数， 解释方差分数（explained_varience_score）， 平均绝对误差（mean_absolute_error）， 均方差(mean_square_error)， r2分数（r2_score） 和 调整r2分数（r2_score_adjust）二、六大评价.
2021-11-09 11:13:46
5057
原创 VScode debug
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言操作步骤，分为两个步骤总结前言本文主要介绍如何利用VScode来进行debug操作。操作步骤，分为两个步骤1.1 配置VScode的python调试；点击右侧栏中的运行和调试按钮，在搜索框中搜索python，会跳出python：当前文件的选项，回车即可；如下图1.2 打开目标文件，在想debug的地方打上红点，则程序运行到红点位置就会暂停；然后点击向下按钮，即可完成逐步调试总结相信这篇文章对你的VScode
2021-11-08 15:23:25
1001
原创 上传本地文件到GitLab代码仓库，超详细～
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用步骤1.使用SSH的方式进行数据从本地与远程服务器的互传，首先得把本地电脑的key加入到gitLab的settings中的密匙中。具体操作分为如下三步。2. 上传本地文件到远程服务器。具体操作有如下六个步骤。总结前言gitLab堪称是企业版的github，它可以将代码仓库放到企业自己的服务器上进行管理。因此从事开发工作的人员在进行开发协作时，gitLab是必备的开源软件。掌握gitLab操作也显得尤为重要。一、使
2021-11-08 14:45:49
706
原创 Linux终端查找python方法的帮助文档
日常工作中，我们通常使用linux环境进行开发；但有时对某些python库的方法可能有所遗忘，需要查找python库的方法使用说明，即帮助文档。分为如下两个步骤。步骤一： 在linux终端输入python，进入python环境步骤二：使用help方法对希望查找的方法进行查找；比如查找list的相关方法，在终端输入help(list)命令。...
2021-11-05 12:21:13
981
空空如也
请问，在java11中 如何直接打印string类型？
2021-03-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人