![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习入门
文章平均质量分 74
介绍深度学习相关入门知识
深度学习机器
前大厂算法工程师,现小厂全栈开发。写写代码,记录开发之路。
公众号:深度学习机器
个人网站:https://dlmachine.top
Github: https://github.com/zishengwu
展开
-
【高级RAG技巧】使用二阶段检索器平衡检索的效率和精度
虽然目前二阶段方法用来提升RAG的性能表现越来越受到关注,但是具体来看,其中所含的技术都是早就有的内容。Cross-Encoder这种架构在当时显得比较鸡肋,只能用来比较句子的相似度,甚至无法输出向量,在大部分自然语言处理场景中都不受待见,谁能想到在如今又焕发生机了呢?原创 2024-04-26 13:15:00 · 774 阅读 · 0 评论 -
大白话扩散模型(无公式版)
虽然原始论文涉及到的知识包括随机分布,马尔科夫链等,而且推导过程极其复杂,但本文不会深入去推导相关的公式,而是把重心放在思考这个过程以及对其中发现的一些问题进行探讨。,因为一开始图片质量很高,加很小的噪声就发生很大的变化,而越后面的图片含有噪声越多,失真越严重,必须加更大的噪声才能引起较大变化。如果玩过文生图的话就能发现,选择了一定的采样步数后,前几步图片变化非常大,从模糊的噪声逐渐出现轮廓,后面几步基本不变,只是一些细节发生了变化。,然后我们用来进行训练一个模型,拟合训练数据的分布之后,就可以预测出。原创 2024-03-24 13:23:39 · 841 阅读 · 0 评论 -
Chat2table,简易表格分析助手
之前用智谱AI的Chatglm3-6b模型写过一个简单的论文阅读助手,可用来辅助论文阅读等。而像表格,如Excel、CSV文件等内容的分析,也是不可忽略的需要,因此本文同样使用Chatglm3-6b来搭建一个表格分析助手,用于快速分析表格的内容,提取有效的信息。ChatGLM3 采用了全新的对话格式,除最基本的对话外,还支持工具调用和代码执行。简单来说,代码执行属于工具调用的子类,只是提示词不一样,而这两种功能是通过修改微调阶段的提示词来实现的。原创 2024-02-29 12:00:00 · 864 阅读 · 0 评论 -
8k中英双语文本嵌入模型效果初探
向量模型用于生成向量表示,被广泛应用于检索、分类、聚类或语义匹配等传统的自然语言处理任务。到了大模型时代,由于上下文长度的限制,需要压缩、存储和查询大量的信息,这就需要用到向量模型对输入的文本进行向量化表示,然后再喂给大模型,以得到期望的输出。,例如处理数十页的报告综述等。原创 2024-02-25 10:10:18 · 421 阅读 · 0 评论 -
大语言模型常见的文本切分之语义嵌入
选择了一篇新闻稿,有比较明显的段落区分,每个段落由若干句子构成,可用于验证切分效果。原创 2024-01-24 12:00:00 · 498 阅读 · 0 评论 -
Stable Diffusion中的图像修改尺寸和编辑工具实现
在图生图中,使用Stablediffusion的pipeline来构建Webui应用,如果直接把参数传给pipeline是无效的。__call__参数中虽然有单独的weight和height这两个参数,但最终图像尺寸实际上是由传入图片的尺寸决定的,因此需要定义函数来做原始图片的尺寸变换,达到用参数来控制输出图像尺寸的目的,这可以通过resize调整图片尺寸大小来实现。上传一张初始图片图片宽度和高度按照比例调整,缩放到1.2倍,高度和高度同步变成1232。原创 2023-12-23 12:30:00 · 1041 阅读 · 0 评论 -
通俗易懂的注意力机制attention
简单来说,注意力通常对不同的item感兴趣程度、注意力分布不同,考虑对不同的item施加不同的权重,即求当前query关于不同key下的注意力分布及当前query的注意力分数。某些特征就会主导某一次的预测,就好像模型对某些特征更加专注。如果我们说加权求和就很容易理解,但是说成注意力机制,就感觉高大上了许多,也许这就是论文吧。。原创 2023-04-02 11:32:20 · 890 阅读 · 0 评论