- 博客(11)
- 收藏
- 关注
RSS订阅原创 Pixel-Bert论文阅读
论文链接https://arxiv.org/abs/2004.00849本文是使用transformer进行图片文本跨模态学习的一篇论文。摘要本文主要是针对如果只对个别特征进行提取，提取不全面的情况下，就无法对某一对象的具体行为进行识别 这样的问题提出解决方法。1、介绍本文提出Pixel-bert学习基于CNN的视觉编码器和深度多模态变压器组成，将图像像素与文本对齐，以在视觉和文本信息之间建立更彻底的语义嵌入。Pixel-BERT由三个部分组成：以图像像素作为输入的全卷积神经网络(CNN)，基于B
2022-04-15 15:07:48
2681
原创 多头注意力机制的概念、具体流程以及相关代码
1、多头注意力的概念自注意力模型可以看作为在一个线性投影空间中建立输入向量中不同形式之间的交互关系。多头注意力就是在多个不同的投影空间中建立不同的投影信息。将输入矩阵，进行不同的投影，得到许多输出矩阵后，将其拼接在一起。从下图中可以看出V K Q 是固定的单个值，而Linear层有3个，Scaled Dot-Product Attention 有3个，即3个多头；最后cancat在一起，然后Linear层转换变成一个和单头一样的输出值；类似于集成；多头和单头的区别在于复制多个单头，但权重系数肯定是不一样
2022-03-30 16:09:45
19152
3
原创 注意力与自注意力概念以及自注意机制的实现步骤、代码
1、概念注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务。当过载信息映入眼帘时，我们的大脑会把注意力放在主要的信息上，这就是大脑的注意力机制。同样，当我们读一句话时，大脑也会首先记住重要的词汇，这样就可以把注意力机制应用到自然语言处理任务中，于是人们就通过借助人脑处理信息过载的方式，提出了Attention机制。自注意机制：主要是根据两两之间的关系来引入权重，在通道、空间
2022-03-29 10:27:46
4005
原创 强化学习-莫烦强化学习2.1视频中的代码复现
该代码为可以正常运行的代码import numpy as npimport pandas as pdimport timenp.random.seed(2) #reproducibleN_STATES = 6 #the length of the 1 dimensional worldACTIONS = ['left','right'] #available actionsEPSILON = 0.9 #greedy police 决策上的策略ALPHA = 0.1 #learning ra
2022-02-23 16:29:16
611
3
原创 linux中安装anaconda后创建虚拟环境并安装相关组件
linux中安装anaconda后创建虚拟环境创建虚拟环境创建虚拟环境使用 conda create install XXX其中，XXX是创建的虚拟环境名称要想启动该环境，使用命令： conda activate xxx要想退出该环境：使用命令：conda deactivate xxx...
2022-02-23 12:24:54
868
原创 爬虫学习笔记（一）——静态网址
一、爬虫：从网站/app自动抓取数据的一个程序 百度：最大爬虫搜索引擎，从互联网上抓取所需要的数据二、为什么会有爬虫？（存在的意义—抓取数据—数据分析）1>节省人力物力资源，提高效率2>抓取大量数据三、网站分类：前端（负责页面美观）+后端（实现功能性能优化）1>静态网站：从源代码找到所需要的数据2>动态网站：80%四、分析网站：倒推法----根据目的推算出过程步骤1>目的：获取案例介绍的数据（http://www.risfond.com/case/fmcg/
2020-07-16 17:07:56
145
原创 学术英语写作（三）
What are the basic steps of writing?1、Begin with a broad subject area and a general idea, a provisional conjecture about that subject；2、 Consider the purpose and prospective audience, and narrow the subject to a topic；3、 Reduce the original hypothesis i
2020-06-03 19:58:34
1254
原创 python入门（二）：汇率兑换一
Python基础python 优点容易阅读，理解，编写。python应用数据分析，爬虫（搜集数据），办公自动化，人工智能，Web开发，机器学习。1>案例：人脸识别：将视频中的人脸替换成其他图像。人工智能：将图片风格进行替换。数据分析：绘制数据的变化图。python编程：爬取论文，开发小游戏，改变证书的名字，邮件自动发送。2>学习方式：通过案例学习： 汇率兑换，分析树的绘制，基础代谢BMR的计算，52周存钱挑战，判断第几天，判断密码强弱，模拟掷骰子，空气质量指数计
2020-06-03 14:09:13
315
原创 python入门（一）：对Python的认识
python 优点容易阅读，理解，编写。python应用数据分析，爬虫（搜集数据），办公自动化，人工智能，Web开发，机器学习。案例：人脸识别：将视频中的人脸替换成其他图像。人工智能：将图片风格进行替换。数据分析：绘制数据的变化图。python编程：爬取论文，开发小游戏，改变证书的名字，邮件自动发送。学习方式：通过案例学习：汇率兑换，分析树的绘制，基础代谢BMR的计算，52周存钱挑战，判断第几天，判断密码强弱，模拟掷骰子，空气质量指数计算及分析。学习过程中要注意：动手验证例子，课后
2020-06-02 22:39:09
257
原创 学术英语写作（二）
学术英语写作（二）how to shape your topic11>You begin with a broad subject area and a general idea,a provisional conjecture about that subject(a hypothesis).2> As you read and think about your subject and consider your purpose and prospective audience, you
2020-06-02 20:52:33
598
原创 学术英语写作（一）
学术英语写作（一）What are the common features of writing?The writing feature is the writing technique, and the writing technique refers to the artistic expresion technique that makes the work better in the writing,including the expression method, rhetoric techni
2020-06-02 20:36:51
771
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人