- 博客(21)
- 收藏
- 关注
原创 UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0x80 in position 109130: invalid start byte
成功解决‘UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 109130: invalid start byte’
2022-11-11 14:14:57
1627
1
原创 LSTM自定义实现pytorch
想要跑LSTM具体的网络结构,在网上找了很久,都是直接调用nn.LSTM模块。从调用LSTM模块到自定义LSTM,不知道为什么训练速度慢了很多。如果代码有什么问题欢迎指出。
2022-09-19 19:54:02
2350
2
原创 解决 AttributeError: module ‘tensorboard.summary._tf.summary‘ has no attribute ‘merge‘
AttributeError: module 'tensorboard.summary._tf.summary' has no attribute 'merge'
2022-09-10 11:06:02
2244
原创 解决:pandas.errors.EmptyDataError: No columns to parse from file
报错:pandas.errors.EmptyDataError: No columns to parse from file在对多个csv文件处理的时候报错。看了很多人的,最后解决办法如下:修改前:data_raw = pd.read_csv(path + '\\' + file_name, encoding="ISO-8859-15")修改如下: try: data_raw = pd.read_csv(path + '\\' + file_name, encoding
2021-12-09 19:40:38
12766
原创 2021-10-23pytorch学习
这里写目录标题一级目录二级目录三级目录深度学习流程1.定义模型2.定义数据增强3.定义数据加载。4.模型训练5.模型测试一级目录二级目录三级目录深度学习流程1.定义模型这里需要构建网络模型,后面用这个模型去训练。2.定义数据增强这里主要是在数据量少的情况下,对数据进行一些增强,比如平移,翻转,裁剪等操作,以提高模型的泛化能力(这一步不是必须的)。3.定义数据加载。这里定义数据加载器,使得模型训练时模型能源源不断地获取数据进行训练。对于Pytorch而言,数据记载主要需要用到Dataset
2021-10-23 15:06:09
225
原创 神经网络基础05-self-Attention
输入输出1.输入2.输出2.1每个向量是个标签,输入多少个,输出多少个2.2整个序列是一个标签,比如说情感分析2.3输出标签数量有model决定,比如说翻译Sequence Labeling自注意可以叠加计算关联的程度 α。常用的方法是点积,也是Transformer里用的方法。计算关联性:α1,2=q1∙k2,向量a1和向量a2的关联性。向量a1也会计算和自己的关联性。q1=Wq*a1,向量a1乘然后进行Soft-max或者relu操作得到α′α是知道哪些向量跟a1最有
2021-09-16 16:53:02
300
原创 机器学习01
这里写目录标题机器学习特征工程特征提取特征预处理特征降维机器学习算法分类监督学习定义:非监督学习定义:有监督,无监督算法对比:半监督学习定义:强化学习模型评估分类模型评估回归模型评估欠拟合过拟合Matplotlib、Numpy、PandasMatplotlibNumpyPandas机器学习机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测。特征工程特征提取将任意数据(如文本或图像)转换为可用于机器学习的数字特征特征预处理通过一些转换函数将特征数据转换成更加适合算法模型的特征数
2021-07-29 20:49:30
840
原创 神经网络基础05-注意力机制总结
原文链接:https://blog.csdn.net/cdlwhm1217096231/article/details/95060636这里写目录标题1.Attention机制基础知识1.1注意力分布1.2 加权平均2.其他类型的注意力机制2.1 硬注意力机制2.2 键值对注意力2.3 多头注意力2.4 自注意力模型(Self Attention)3.实战------以Seq2Seq网络进行法语到英语的翻译为例进行说明1.Attention机制基础知识用X = [ x1 , ⋯ , xN ] 表示
2021-07-10 17:50:18
3456
2
原创 神经网络基础03-深入浅出LSTM及其Python代码实现
传统神经网络结构的缺陷从传统的神经网络结构我们可以看出,信号流从输入层到输出层依次流过,同一层级的神经元之间,信号是不会相互传递的。这样就会导致一个问题,输出信号只与输入信号有关,而与输入信号的先后顺序无关。并且神经元本身也不具有存储信息的能力,整个网络也就没有“记忆”能力,当输入信号是一个跟时间相关的信号时,如果我们想要通过这段信号的“上下文”信息来理解一段时间序列的意思,传统的神经网络结构就显得无力了。与我们人类的理解过程类似,我们听到一句话时往往需要通过这句话中词语出现的顺序以及我们之前所学的关于这
2021-04-15 13:56:19
2986
2
原创 神经网络基础01-从神经元到深度学习
神经网络浅讲:从神经元到深度学习参考文章:https://www.cnblogs.com/subconscious/p/5058741.html前言神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。这是一个包含三个层次的神经网络。红色的是输入层,绿色的是输出层,紫色的是中间层(也叫隐藏层)。输入层有3个输入单元,隐藏层有4个单元,输出层有2个单元。1.设计一个神经网络时,输入层与输出层的节点数往往是固定的,中间层则可以自由指定;2.神经网络结构图中的拓扑与箭头代表着预测过程
2021-04-12 13:46:13
1192
原创 python数据挖掘day01
数据挖掘介绍Matplotlib什么是Matplotlib为什么要学习Matplotlib实现一个简单的Matplotlib画图Matplotlib三层结构NumpyPandas三级目录三级标题四级标题五级标题六级标题介绍1 Matplotlib 画图2 Numpy 高效的运算工具3 Pandas 数据处理工具Matplotlib什么是Matplotlib画二维图表的python库为什么要学习Matplotlib能将数据进行可视化,更直观的呈现使数据更加客观、更具有说服力js库
2021-03-31 21:01:01
303
原创 机器学习day03
回归与聚类1.线性回归回归问题:目标值是连续型的数值线性关系一定是线性模型,线性模型不一定是线性关系线性回归的损失和优化原理:损失函数优化方法:正规方程----直接求到最好的结果 梯度下降----试错、改进线性回归APIsklearn.linear_model.LinearRegression(fit_intercept=True)sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=Tru
2021-03-29 20:01:27
146
原创 机器学习day02
分类算法1. sklearn转换器和预估器转换器 特征工程的步骤: 1、实例化 (实例化的是一个转换器类(Transformer)) 2、调用fit_transform(对于文档建立分类词频矩阵,不能同时调用) 我们把特征工程的接口称之为转换器,其中转换器调用有这么几种形式 fit_transform fit() 计算每一列的平均值、标准差 transform() (x-mean)/std的最终计算(标准化)估计器估计器(estimator)1
2021-03-26 16:46:10
145
原创 机器学习day01
数据集可用数据集Kaggle网址:https://www.kaggle.com/datasetsUCI数据集网址: http://archive.ics.uci.edu/ml/scikit-learn网址:http://scikit-learn.org/stable/datasets/index.html#datasets
2021-03-22 18:45:03
136
原创 机器学习概述
机器学习算法分类监督学习目标值:类别—分类问题(猫还是狗?)算法:k-近邻法、贝叶斯分类、决策树与随机森林、逻辑回归目标值:连续型的数据----回归问题(房屋价格预测)算法:线性回归、岭回归无监督学习目标值:无—无监督学习(没有目标值)聚类k-means机器学习开发流程任务:分析很多的数据分析具体的业务应用常见的算法特征工程、调参数、优化...
2021-03-22 16:01:54
72
原创 使用API下载kaggle数据集
首先按提示注册kaggle账号,需要手机号验证的。找到account往下滑,找到API—>Create New API Token,会下载一个kaggle.josn。在C:\Users\admin界面,新创建一个文件夹:.kaggle。把下载好的.josn文件放到.kaggle文件中。在终端输入命令行pip install kaggle,确保自己电脑装有python在要下载的数据集界面,找到Date—>复制他的API下载链接,在终端中粘贴即可下载,在下载的过程中,会提示下载好的
2021-03-19 13:36:35
308
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人