自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(226)
  • 资源 (1)
  • 论坛 (2)
  • 问答 (1)
  • 收藏
  • 关注

原创 Andrew Ng-机器学习基础笔记(下)-Python实现代码

前言:Andrew Ng-机器学习基础笔记(上)-Python实现代码https://blog.csdn.net/qq_37457202/article/details/10684877810. 应用机器学习的建议10.1 决定下一步做什么引语:如果你想改进一个机器学习的性能。比如你发现预测房价时,产生了巨大的误差(线性回归),现在你的问题是如何改进。通常人们的办法1、有两倍甚至十倍的数量的训练集-花费更多的时间在手机训练数据上2、精心挑选小部分以防止过拟合然而:1、

2020-06-26 08:45:59 223

原创 Andrew Ng-机器学习基础笔记(上)-Python实现代码

目录1.引言:1.1Welcome:1.2机器学习是什么?1.3监督学习1.4无监督学习:总结:2.线性回归单变量的线性回归2.1模型表示2.2代价函数2.3代价函数的直观理解:2.4 代价函数的直观理解2.5 梯度下降(Gradient descent)2.6 梯度下降的直观理解2.7梯度下降的线性回归3、线性代数回顾3.1 矩阵和向量3.2 加法和标量陈发3.3 矩阵向量乘法3.4 矩阵乘法3.5 矩阵乘法的性质3.

2020-06-19 11:47:34 484 2

原创 GitHub开源项目查找的使用技巧

前言:以前只会用Github然后直接关键词查找,查找效率非常低下、而且通常stars不高技巧:1、查找python 且星大于3000in:name python stars:>30002、查找描述里是爬虫且语言是python 星数大于1000 且更新时间为2919-02-01之前(爬虫越新越有代表性)in:description 爬虫 language:python stars:>1000 pushed:>2019-02-01总结:以此类题,用这种方

2020-05-31 08:34:20 76

原创 统计学习复习笔记

复习的主要内容:第一章:监督学习与非监督学习第二章:贝叶斯、最小风险杯贝叶斯公式、先验概率 后验概率 得出风险数值概率密度估计 极大似然估计第三章:线性模型(基本且经典)单变量线性回归、多变量线性、逻辑回归第四章:神经网络第五章:推荐系统第六章:异常检测第七章:决策树第八章:集成学习第九章:特征选择、特征提取基础部分:建议先看一下吴恩达的机器学习入门视频!!!附上之前看的时候记录的笔记:Andrew Ng-机器学习基础笔记(上)-Python实现代码.

2020-12-10 10:08:12 83

原创 统计决策方法-贝叶斯公式介绍附上习题

目录前言:统计决策方法:习题:朋友推荐的习题:最小错误率贝叶斯决策和最小风险错误率贝叶斯决策概率密度函数的估计前言:在统计学习中,这部分是最看得云里雾里的,所以需要好好梳理一下概念,把基本的内容掌握清楚,看了很多资料,一上来就是概率统计公式推来推去,虽然我们高中学过这些,可是时间太久了,用的比较少,所以要捡起来这些知识点的难度是比较大的,因此整理了一下自己这几天复习整理的复习笔记。好了,废话不多说,直接看正文:统计决策方法:下图的这些概念需要牢记需要注意的有.

2020-12-10 10:06:42 49

转载 简述集成学习中Boosting和Bagging算法的区别

看了这么多博客,感觉这一篇博客讲得比较清楚https://blog.csdn.net/u013829973/article/details/80997240以下附上转载的内容在集成学习中,主要分为bagging算法和boosting算法。我们先看看这两种方法的特点和区别。Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。Bootstraping,即自助法:它是一种有

2020-12-10 09:21:05 115

原创 Glove与Attention机制资料的整理

Glove:词向量经典模型:从word2vec、glove、ELMO到BERTPython 迁移学习P208-209 TensorFlow 自然语言处理P88-89理解GloVe模型(+总结)Attention:nlp中的Attention注意力机制+Transformer详解完全图解RNN、RNN变体、Seq2Seq、Attention机制对于Attention 会继续更新

2020-11-11 08:51:13 143 2

原创 统计学习大作业-BERT模型

问题:对于文本特征提取时,我们需要提取歌词中同一句子在不同语境的不同语义以及歌词对应的中心词等特征,然而在许多文本预处理中,不同语境下的向量表示是相同的,这对我们音乐数据集来说干扰性比较大。具体做法:对文本上下文的语意、中心词等特征进行特征提取,期望得到一个较好的文本特征值,然后我们将这部分的文本特征与我们的神经网络进行连接输出音乐流派预测。

2020-11-10 08:29:24 230 1

原创 Bert 实战--学习资料的搜集

如何将Bert进行动态量化BERT,或者说Transformers的双向嵌入表示法,是一种预训练语言表示法的新方法,可以在许多流行的自然语言处理(NLP)任务(例如问题解答,文本分类)PyTorch中的动态量化支持将浮点模型转换为具有静态int8或float16数据类型的权重和动态量化激活的量化模型。当权重量化为int8时,激活(每批)动态量化为int8。在PyTorch中,我们有torch.quantization.quantize_dynamic API,该API用仅动态权重的量化版本替换指定的

2020-10-24 21:16:30 45

原创 Seq2Seq2四个实验进行对比学习

四个实验对比分析,第一个实验Encoder+LSTM(多层)+Decoder(最普通),Seq2Seq(Encoder+GRU(单层)+Decoder)上下文向量仍然需要包含有关源句子的所有信息,共同学习(Decoder+Attention+Decoder) ,Packed Padded Sequences, Masking, Inference and BLEU

2020-10-03 20:42:04 122

原创 深度学习(自然语言处理)Bert学习资料整理

Seq2Seq模型简介注意力机制在解码器器的每⼀一时间步对输⼊入序列列中不不同时间步的表征或编码信息分配不不同的注意⼒力力⼀一样在注意⼒力力机制中,解码器器的每⼀一时间步将使⽤用可变的背景变量量注意⼒力力机制能够为表征中较有价值的部分分配较多的计算资源特别是启发了了依靠注意⼒力力机制来编码输⼊入序列列并解码出输出序列列的变换器器(Transformer)模型的设计Transformer抛弃了卷积神经网络和循环神经网络的架构基于注意力的神经网络机器翻译py..

2020-10-03 20:16:19 141

原创 深度学习(自然语言处理)Seq2Seq学习笔记(采用GRU且进行信息压缩)(二)

在上一个模型,我们的解码器与编码采用的都是多层的RNN,在多层的RNN我们可以使用dropout进行处理,且我们采用LSTM返回每个训练的cell,但是由于多层的RNN且线性层的设计导致了信息计算量大,没有很好的压缩起来。接下来我们采用GRU 并且我们的Encoder都采用单层RNN进行设计以期望进行信息压缩,优化我们的Seq2Seq。

2020-09-29 10:45:42 152

原创 深度学习(自然语言处理)Seq2Seq学习笔记(动手实践)

目录0. 前言1. Seq2Seq模型简介2. 代码复现2.1 Introduction:2.2 准备数据:2.3 训练、验证和测试数据集2.4 创建Seq2Seq Model2.4.1 编码器Encoder:2.4.2 Decoder2.5 实现Seq2Seq模型2.6 训练模型2.7 评估:0. 前言首先这部分的学习还是看代码比较直观,代码看完后,在重新看完论文图片以及公式推导,更容易理解,考虑到Pytorch 与Tensorflow 如今框架比较

2020-09-27 21:27:51 298

原创 深度学习(自然语言处理)RNN、LSTM、TextCNN

RNN 与DNN.CNN不同,它能处理序列问题,常见的序列问题:一段段连续的语音,一段段连续的手写文字,一条句子等等。这些序列长短不一,又比较难拆分成一个个独立的样本来训练RNN就是假设我们的样本是基于序列的。比如这么一个例子:”我” “吃” “苹果“ 词性与前个词语有很大的关系所以RNN可以解决BPTT(back-propagation through time)算法是常用的训练RNN的方法,其实本质还是BP算法,只不过RNN处理时间序列数据,所以要基于时间反向传播,故叫随时间反向传.

2020-09-26 17:29:40 179

转载 深度学习(自然语言处理)-词嵌入

前言:由于最近在学习知识图谱的10.1 词嵌入(word2vec)10.1.1 为何不采用one-hot向量one-hot向量表示词(字符为词),假设一个词的索引为iii,为了得到该词的one-hot向量表示,我们创建一个全0的长为NNN的向量,并将其第iii位设成1.one-hot词向量无法准确表达不同词之间的相似度,如我们常常使用的余弦相似度由于任何两个不同词的one-hot向量的余弦相似度都为0它将每个词表示成一个定长的向量,并使得这些向量能较好地表达不同词之间的相似和类.

2020-09-21 07:34:34 179

原创 图神经网络论文-A Comprehensive Survey on Graph Neural Networks

目录1、前言:2、 Abstract:一、什么是图神经网络二、有哪些图神经网络三、图神经网络的应用3、神经网络常用的缩写5、论文详情笔记5.1 什么是图神经网络5.2 图嵌入和图神经网络的区别5.3 图卷积网络(GCN)5.4 GCN方法又可以分为两大类1、前言:这部分其实和上一篇学习的论文属于一种概述性的,因此采用初略的阅读,最主要的处理是对论文大致的中文进行梳理,对神经网络常用的缩写进行梳理、以及对于论文的概括。2、 Abstract:一、什么

2020-09-20 15:30:07 792

原创 图神经网络论文 模型与应用-Graph Neural Networks: A Review of Methods and Applications

2018年的一篇图神经网络的概述,从图的类型、图的类型、传播类型、训练类型进行GNN变体的分类,同时介绍了几个统一的框架以及描述了GNN的应用场景和提出了四个问题解决方案

2020-09-10 23:18:07 241 1

原创 知识图谱入门学习笔记(六)-关系抽取

目录0 前言:1 语义关系:1.1 句法关系1.1.1 替代关系​1.1.3 同现关系(Relations of Co-occurence)2 关系抽取的用处2.1 关系抽取中的特征2.1.1 学习语义关系的方法2.1.2 特征2.1.3 实体特征Basic entity features2.1.4 关系特征3 关系抽取数据集3.1 语义关系学习的标注数据3.2 基于模板的实体关系抽取3.2.1 基于模板的方法4 有监督实体关系的提取4..

2020-09-09 23:12:40 173

原创 知识图谱入门学习笔记(五)-知识抽取之数据采集&命名实体识别

目录1 数据采集原理和技术2 知识抽取:命名实体识别2.1实体识别2.2 基于规则和词典的命名实体识别流程2.3 基于机器学习的方法主要包括:2.4 基于深度学习的实体识别​2.5 基于半监督学习的实体识别2.6 基于迁移学习的实体识别机器学习与迁移学习2.7 基于预训练的实体识别参考文献:1 数据采集原理和技术爬虫原理 请求和响应 多线程并行爬取 反扒机制进队这些参考一下自己之前学的爬虫知识,详细见Python 这个专栏2 知识抽取:命名实体

2020-09-09 23:05:51 113

原创 知识图谱入门学习笔记(四)-知识抽取之问题和方法

目录知识抽取基础:问题和方法1 问题分析1.1 知识抽取的场景数据源1.2 从信息抽取到知识抽取1.3 知识抽取的例子​1.4 知识提取的挑战2 知识抽取场景和方法2.1 面向结构化的数据知识抽取2.1.1 从关系数据库中抽取知识2.2 面向半结构化数据的知识抽取2.2.1 linked data 核心数据集2.2.2YAGO百科知识抽取2.2.3 ZhiShi,me​2.3 面向无结构数据的知识抽取2.3.1 实体识别2.3.2 关系抽取

2020-09-08 18:11:32 191

原创 知识图谱入门学习笔记(三)-知识建模

本体(Ontology)本体( Ontology ) :领域共享知识的描述方式,是语义 Web、语义搜索、知识工程和很多人工智能应用的基础。本体工程知识图谱中需要-一个本体来形式化描述和界定它所描述的知识和事实的范围。本体工程是用工程化规范保证本体质量的方法学。知识图谱本体VS数据库模式本体学习(手动)本体学习(自动)方法一:基于规则的本体学习人工写模版规则抽取本体优点:利用专家知识写抽取模版缺点:规则不足、规则冲突、不好扩展方法二:基于机器学习的本体学习将本体

2020-09-08 18:11:17 116

原创 知识图谱入门学习笔记(二)-知识表示

目录1 知识表示的概念1.1 知识表示方法1.2 知识表示的分类观点1.3 知识表示的发展2.1 语义网络2.2 产生式系统2.3 框架系统(Frame Systems)2.4概念图(Conceptual Graph)2.4.1 描述逻辑(Description Logic)Horn子句2.4.2 描述逻辑3.1 RDF(Resource Description Framework)3.1.1 RDF模型3.1.2 RDF Schema(图解)3.

2020-09-08 18:11:12 75

原创 知识图谱入门学习笔记(一)-概念

一、知识图谱概念一个知识图谱的例子图表示形式:包括:实体、属性、惯性系节点是实体节点有属性标签(可以包含类型)两个节点的边是实体间关系强调实体,但也可以描述概念知识图谱 VS 传统知识库 VS 数据库知识图谱本质人类的信息组织革命Google Knowledge Graph知识表示一-语 义网络(Semantic Network)语义网络:表示概念间语义关系的网络1956年提出,最初目的用于语言翻译和自然语言处理 1960s, 19.

2020-09-08 18:09:39 913

原创 YDlin-准研一人工智能基础学习笔记

准研究生学习笔记整理学习笔记指南

2020-08-27 17:23:11 146

原创 神经网络基础学习笔记汇总

目录第二章:感应机(人工神经元)二. 感知机2. 简单逻辑电路2.1简单逻辑电路2.2代码实现:2.3导入权重和偏置2.4感知机局限性2.5多层感知机实现(解决异或门)2.6 小结第二章:感应机(人工神经元)感知机作为神经网络起源的算法二. 感知机概念:感知机其实就是流与不流的问题,流就是1不流就是0、0 对应“不传递信号”,1对应“传递信号” x1,x2是输入,y是输出,w1,w2是权值,x*w之和超过阀...

2020-08-27 12:41:12 207

原创 Tensorflow2.0 入门与实战学习笔记(补充)-模型保存与恢复

model.save()仅保存架构恢复模型(重建):还差保存优化器的状态保存检查点重新加载模型在自定义训练中保存检查点checkpoint保存变化的地方保存地方:恢复模型:取出目前最新的检查点...

2020-08-26 08:35:18 58

原创 Tensorflow2.0 入门与实战学习笔记(十四)-RNN循环卷积网络

他们都只能单独的取处理一个个的输入,前一个输入和后一个输入是完全没有关系的。但是,某些任务需要能够更好的处理序列的信息,即前面的输入和后面的输入是有关系的。https://zhuanlan.zhihu.com/p/30844905RNN结构具体图最后给出RNN的总括图:LSTM 网络Long Short Term网络般就叫做LSTM是一种RNN特殊的类型,可以学习长期依赖信息。在很多问题,LSTM 都取得相当巨大的成功,并得到了广 泛的使用, 它是RNN事实上的.

2020-08-25 13:27:16 147

原创 Tensorflow入门与实战学习笔记(十三)-FNN图像语义分割

图像语义分割上图为语义分割的一个实例,其目标是预测出图像中每一个像素的类标签图像语义分割是图像处理和是计算机视觉技术中关于图像理解的重要一环语义分割对图像中每一个像素点我们只对类别进行分割,不对实体进行分割应用场景:1、自动驾驶起床2、医学图像诊断3、无人机着陆点判断...

2020-08-23 11:28:28 150

原创 Tensorflow入门与实战学习笔记(十二)-图像定位

图像定位的理论知识图像和位置数据的解析和可视化我们选用的数据集有猫的图片以及头像的位置(xml)图片缩放与目标值的规范因为这个红框的位置和我们的图片大小有关

2020-08-15 11:45:59 120

原创 Tensorflow入门与实战学习笔记(十一)-预训练网络

1 预训练网络(迁移学习)基础知识1.1迁移学习预训练网络又称为迁移学习,预训练网络是一个保存好的之前已在大型数据集(大规模图像分类任务)上训练好的卷积神经网络如果这个原始数据集足够大且足够通用,那么预训练网络学到的特征的空间层次结构可以作为有效的提取视觉世界特征 的模型。即使新问题和新任务与原始任务完全不同学习到的特征在不同问题之间是可移植的,这也是深度学习与浅层学习方法的一个重要优势。它使得深度学习对于小数据问题非常的有效。1.2 Keras内置预训练网络 Keras库中包

2020-08-14 14:48:18 70

原创 Tensorflow入门与实战学习笔记(十)-自定义综合实力和图片增强

0 前言:dog-cat 猫狗数据集1 读取数据2 创建dataset、猫狗数据实例-图片增强3 创建模型、损失函数与优化器在自定义训练中添加验证数据,与训练数据类似4 定义单批次训练函数5 使用kaggle训练模型模型的训练与优化猫狗数据实例-图片增强模型的进一步优化与VGG网络...

2020-08-14 14:47:44 60

原创 Tensorflow入门与实战学习笔记(九)-Tensorboard可视化

利用回调函数使用Tensortboard启动和界面含义的介绍自定义变量的Tensorboard可视化自定义训练中的Tensorboard可视化此时查看:

2020-08-14 14:47:17 54

原创 Tensorflow入门与实战学习笔记(八)--Eager模式

1 前言:我们学会使用了keras提供的api实现神经网络,可是由于他封装的太好了,对于自定义的循环与自定义的训练是不友好的我们可以使用Eage,再循环中使用Eager2 简介:TensorFlow的eager模式是一个命令式编程环境,它使得我们可以立即评估操作产生的结果,而无需构建计算图。Eager与图运算模式:简单的说:图运算就相当于把每一步的绘制出来,Eager则可以直接得出结果2.1 Eager模式方便学习以及模型调试Eager模式极大的方便我们使用TensorFlo

2020-08-14 14:47:00 90

原创 Tensorflow2.0入门与实战学习笔记(七)--tf.keras序列问题

文本向量:将数据处理成文本向量方便我们机器学习,与one-hot 类似,这里采用K-hot实验结果:如图可以容易得知过拟合解决过拟合问题:1、dropout2 L1、L2 正则化数据处理图像识别,猫狗数据集...

2020-08-14 14:46:35 54

原创 Tensorflow2.0 入门与实战学习笔记(六)--批标准化&卷积神经网络(卫星图像)

前言:理论知识

2020-08-14 14:46:04 67

原创 Tensorflow2.0 入门与实战学习笔记(五) 函数式api & 函数式 &卷积神经网络

1 函数式API2 卷积神经网络本文将专注于在keras中使用卷积神经网络 (CNN)来处理图像。CNN 的确是从视觉皮层的生物学上获得启发的。 简单来说:视觉皮层有小部分细胞对特定部分的视觉区域敏 感。 例如:一些神经元只对垂直边缘兴奋,另一些对水平或对角边缘兴奋。2.1 CNN基础2.1.1 工作流程CNN 工作概述指的是你挑一张图像,让它历经一系列: 卷积层、 非线性层 池化(下采样(downsampli...

2020-08-14 14:45:05 75

原创 Tensorflow2.0 入门与实战学习笔记(四)-函数式Api

如图好处是多输入的模型比如要判断两个是否是同类多输入多输出模型

2020-08-14 14:44:28 49

原创 Tensorflow入门与实战学习笔记(三)--Tensorflow tf.data 模块

1 tf.data模块基于 tf.data API,我们可以使用简单的代码来构建复杂的输入, tf.data API 可以轻松处理大量数据、不同的数据格式 以及复杂的转换。1.1 tf.data API 最重要的概念:tf.data.Dataset 表示一些列元素中每个元素包含一个或多个 Tensor 对象。例如,在图片管道中,一个元素可能是单个训练样本,具有一对 表示图片数据和标签的张量。1.1.1 两种不同的方式来创建tf.data.Dataset直接从 Tensor 创建 Data

2020-08-14 14:42:46 55

原创 Tensorflow2.0 入门与实战学习笔记(一、二)-优化函数、学习率、反向传播

理论知识1.1多层感知器1.2梯度下降法1.3 学习速率-超参数(手工可配置)不合适的学习速率局部极值点1.4 反向传播算法1.5 优化函数SGD 随机梯度 adam优化器常见参数RMSprop代码实现1.6 网络优化与超参数的选择1.6.1 如何选择超参数那么如何提高网络的拟合能力注意:单层的神经元个数,不能太小,太小的话,会造成信息瓶颈,使得模型欠拟合13W个可训练参数

2020-08-14 14:42:13 63

原创 Tensorflow 入门与实践(基础知识)-多层感知机实现代码softmax

1 理论知识2 数据集2.1 Fasihion MNIST 数据集来看一下数据集3 代码实践3.1 数据包的引入3.2 实现代码:3.2.1 数字编码训练参数的时候 categorical_crossentropy 读热编码的时候 sparse_categorical_crossentropy 0,1,2,3数字编码的话 使用 3.2.2 热编码数据格式:...

2020-08-13 16:24:55 50

完整注释JAVA基本连连看框架

完整注释JAVA基本连连看框架,同时与https://blog.csdn.net/qq_37457202/article/details/80659017#t12博客讲解一致,当然有什么不理解的也欢迎在博客上留言,博客后期将会继续更新

2018-06-18

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除