- 博客(2714)
- 收藏
- 关注
RSS订阅转载 多 CPU、多核 CPU、超线程技术、SMP
多CPU)指的是在计算机主板上有多个物理CPU，每一个物理CPU之间通过系统总线连接。：包括通用数据寄存器、段寄存器、控制寄存器等。：执行引擎，用来执行CPU指令，包括算数逻辑单元ALU等。Local APICAPIC全称是，翻译过来就是高级可编程中断控制器，用来处理CPU中断。
2024-07-26 08:26:06
3
转载 资源打包方法
首先，定义两个名词。block ：打包数据的单位，可以是一个文件也可以是一个数据块。总之是资源包中的一块数据。包，资源包：即包含多份数据的一个文件。
2024-07-25 11:09:57
8
转载 三维模型（X，Y，Z）坐标，UV坐标
对于三维模型，有两个最重要的坐标系统，一是顶点的位置（X，Y，Z）坐标，另一个就是UV坐标。什么是UV？简单的说，就是贴图映射到模型表面的依据。完整的说，其实应该是UVW（因为XYZ已经用过了，所以另选三个字母表示）。U和V分别是图片在显示器水平、垂直方向上的坐标，取值一般都是0~1，也就是（水平方向的第U个像素/图片宽度，垂直方向的第V个像素/图片高度）。那W呢？贴图是二维的，何来三个坐标？嗯嗯，W的方向垂直于显示器表面，一般用于程序贴图或者某些3D贴图技术（记住，确实有三维贴图这种概念。
2024-07-25 10:49:52
8
转载 CNN 卷积神经网络及图像识别（Python）
卷积神经网络 (CNN) 是一种专门处理图像数据的前馈神经网络。它通过在图像上滑动各种卷积核，提取出图像的局部特征层层叠加最后得到复杂的图形特征。CNN 是深度学习中视觉相关任务的基石，广泛应用于图像识别、视频分析等领域。
2024-07-25 09:21:27
9
转载 大模型量化技术大揭秘：INT4、INT8、FP32、FP16的差异与应用解析
FP16格式，即16位浮点数（float16），相比于32位浮点数（float32），内存占用减少了一半，这在大规模深度学习应用中具有显著优势。然而，FP16格式也有其固有的缺点，即较低的精度，可能导致在某些情况下出现数值不稳定或精度损失的情况。在INT8量化中，模型的权重和激活值会经过一个量化过程，包括缩放和偏移，以尽可能保留原始浮点数的信息。量化通过减少每个参数的位数，可以显著减小模型的大小，从而减少存储需求。：在训练过程中考虑量化的影响，通过模拟低精度计算来调整模型参数，从而在量化后保持较高的精度。
2024-07-24 17:46:49
8
原创 大模型的输入成本和输出成本
（有可能问题描述的比较详细，占用的token较多，但输出结果比较简单，占用的token较少。也有可能问题描述的比较简单，占用的token较少，但输出结果比较复杂，占用的token较多，如写一篇10万字的关于大模型的论文）2）设计有效的Prompt需要深入理解模型的行为和语言表达方式，这可能需要大量的实验和调整。5）为了提高模型输出的准确性和质量，可能需要不断优化Prompt，这也是时间和资源的投入。4）如果Prompt设计不当，可能导致错误的输出，从而增加纠错和重新设计的成本。
2024-07-24 14:43:21
303
原创 神经网络中的隐藏层
例如，ReLU激活函数常用于隐藏层以解决梯度消失问题，而Sigmoid或Tanh激活函数可能更适用于输出层以进行概率性分类任务。尽管同一神经网络的不同隐藏层在结构上可能有所不同，但它们都依赖于相似的算法框架进行数据处理。尽管每个隐藏层的基本计算方式相似，即通过权重与输入数据的乘积加上偏置，然后应用激活函数，但具体的参数和设置可以针对不同的隐藏层进行调整。在靠近输入层的隐藏层中可能包含更多的神经元，以捕捉数据的详细特征，而在靠近输出层的隐藏层中则可能减少神经元数量，逐渐合成更高级别的抽象特征。
2024-07-24 14:29:40
295
转载 一文读懂：大语言模型的实现与原理
机器学习研究人员已经多年努力开发语言大模型（LLM），但早期大众并没有太关注，也没有意识到它们的强大能力。随着GPT的爆火，现在几乎每个人都听说过LLM，并有数千万人使用过它们，但真正了解其工作原理的人却很少。训练LLM就是用于“预测下一个词”，而且它们需要大量的文本来实现这一点。那么它们如何预测下一个词的细节如何？却不容易找到答案。专家们确实对这些系统的工作原理已有不少了解。本文的目标是将这些知识开放给广大受众。我们将努力解释关于这些模型内部工作原理的已知内容，而不涉及技术术语或高级数学。
2024-07-24 10:53:56
11
转载 浏览器指纹-fingerprintjs2
Fingerprint.js的核心理念是在用户不知情且不侵犯其隐私的情况下，收集一些浏览器的基本信息，如屏幕分辨率、时区、已安装字体、插件等，并将这些数据转化为一个哈希值，即所谓的"设备指纹"。这种指纹可以作为识别用户的一种方式，即使他们清除cookies或者更换设备，只要浏览器配置保持不变，就能被识别出来。
2024-07-24 09:27:28
7
原创 大语言模型中的预训练和指令微调的区别
再比如说清华大学chatGLM，那就是微调对齐以后的模型，而如果就是GLM模型那么就可能是基础模型，基础模型大概率只能续写而不会别的，因为没有微调让他已经有的能力得以表达。微调能把基础大模型的很多能力和知识给表达出来、激发出来，这也是我们所说的大模型的“涌现”，就是微调给激发出来的，在深度学习领域这叫“迁移学习”，当然他的微调也非常复杂，但相对于预训练一个模型来讲，他只是对参数和小的一个调整，所使用的数据集也同样是相对小的（五万两千个任务数据集）。大模型的预训练和之后的微调，完全不是一回事。
2024-07-23 17:47:55
186
转载 GGML 或GGUF的14种不同量化模式说明
将 Q5_K 用于 attention.wv、attention.wo 和 feed_forward.w2 张量，否则Q3_K。：将 Q4_K 用于 attention.wv、attention.wo 和 feed_forward.w2 张量，否则Q3_K。：将 Q4_K 用于 attention.vw 和 feed_forward.w2 张量，Q2_K用于其他张量。：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q5_K。：将Q5_K用于所有张量。
2024-07-23 17:34:49
8
转载 FaceVerificationSDK
On_device Offline Android Face Detection 、Recognition 、Liveness Detection Anti Spoofing and 1:N/M:N Face Search SDK 设备端离线 Android人脸检测、人脸识别、活体检测反作弊以及1:N / M:N人脸搜索 SDK。
2024-07-22 18:34:15
12
转载 法线贴图是什么
我们知道，物体表面产生明暗变化的直接原因，就是光线照射角度的不同，光线垂直于平面的地方就亮，光线斜射到平面的地方就暗，光线照不到的地方就更暗(应该是黑 色，但是由于环境光照所以不会有阴影是真正的黑色)。举个简单的例子，这就像我们画素描的时候，为了不让一个球体看起来像是一个圆圈，必须让球体的一些区域是亮的，一些区域是暗的。那么如何实时的对贴图进行转换呢？法线贴图就是记录了一个需要进行光影变换的贴图上的各个点的凹凸情况的贴图，显示芯片根据这个贴图的内容，来实时的生成新的有过光影变化的贴图，从而实现立体效果。
2024-07-22 11:56:40
18
转载 3D volume texture和cube map
我们的CubeMap大都是从外部的图片得来的，图片是不可以变化的，故是静态的。但问题是，如果有其他物体在反射物体外运动，如果我们仅仅查询静态的CubeMap是不能够反射到动态物体的影象，所以我们需要一个动态的CubeMap，即我们需要Render to CubeMap。尤其要注意：所谓面数据，并不是说二维平面数据，而是说这个数据中只有表面细节，没有包含体细节，实际上体数据和面数据的本质区别，在于是否包含了体细节，而不是在维度方面。体素，是组成体数据的最小单元，一个体素表示体数据中三维空间某部分的值。
2024-07-22 11:52:27
17
转载 DirectX-COM技术
COM对象本质上是功能的封装组件，应用程序可以使用它来执行一个或多个任务。对于部署，通常将一个或多个COM组件打包到称为COM服务器（COM server）的DLL文件中。传统的DLL导出自由函数。COM服务器也可以这样做。但是COM服务器内的COM组件公开COM接口和属于这些接口的成员方法。应用程序创建COM组件的实例，从中检索接口，并调用这些接口上的方法，以便调用COM组件中实现的功能。在实践中，这类似于常规C++对象上的调用方法。但也有一些不同之处。
2024-07-20 12:19:43
19
转载 数组\向量\矩阵\多维数组\张量
该方法既可以创建整数数组（步长为整数），又可以创建浮点数数组（步长为浮点数）这种方式创建的数组，数组中每一个元素的值为[0.0~1.0)之间的随机浮点数。这种方式创建的数组，数组中每一个元素的值为[0.0~1.0)之间的随机浮点数。这种方式创建的数组，数组中每一个元素的值为[0.0~1.0)之间的随机浮点数。这种方式创建的数组，数组中每一个元素的值为（这种方式创建的数组，数组中每一个元素的值为（这种方式创建的数组，数组中每一个元素的值为（np.empty创建，指定形状的空数组。3、空数组empty。
2024-07-20 10:34:12
13
转载 D3D12-初始化Direct3D
工厂类IDXGIFactory4，这个类有两个作用：1）枚举适配器（显卡）；2）创建交换链对于一个选定的适配器pIAdapter，拿着它去创建设备IID_PPV_ARGS这个宏实际包含了两个东西，uuid的COM ID和对象的指针。
2024-07-19 19:24:39
15
转载 D3D中的纹理贴图
纹理是指物体表面本身所具有的图案，可采用贴图的方法将一张二维图象张贴到一个三维物体的表面，这就是所谓的纹理贴图技术。与材质一样，纹理也是物体表面的一种属性，同时结合材质，光照和纹理技术可对三维场景进行渲染，使渲染出来的三维图形更为逼真。如下所示，使用纹理映射，就能在单色的多边形表面上使用图片进行着色顶点的纹理坐标纹理贴图也是利用三维物体的剖分三角形面来进行的，当每个三角形面贴图处理完毕，整个三维物体表面就可呈现出整体纹理效果。为此，需要。
2024-07-19 18:54:34
10
转载 GPU工作流程-从数据到图像
混合操作是混合多个像素颜色以生成最终的输出颜色，在一些情况下，最终的像素颜色可能需要进行像素转换，例如伽马矫正、颜色校正或色彩空间转换。在这一阶段，GPU确定哪些像素受到图元的影响，并计算它们的位置和深度值。在这一步，GPU接收3D模型的顶点数据，包括每个顶点的坐标、颜色、法线和纹理坐标等信息。GPU的工作流程由多个精确的步骤组成，高度并行，允许实时渲染和复杂计算任务的执行。正因如此，GPU已经成为现代计算机图形处理的关键，GPU的计算能力使得GPU在图形显示方面的地位无可撼动。GPU处理图形数据的开始。
2024-07-19 18:39:17
17
原创 Directx12纹理贴图
DDS纹理满足用于3D图形开发的以下特征：1）mipmap。2）GPU能自行解压的压缩格式。3）纹理数组。4）立方体贴图（cube map）。5）体积纹理（volume texture）。支持纹理压缩。块压缩 block compression由于块压缩算法（block compression algorithm）要以 4∗4 的像素块为基础进行处理，所以纹理的尺寸必须为4的倍数。
2024-07-19 17:56:42
1014
转载 D3D12纹理
1、纹理也是ID3D12Resource类型，但是不同于缓冲区，因为纹理可以有多个mipmap，这要依赖于特定的数据结构。2、创建数据的时候一般都会给一个数据类型，但是有时候也可能是typeless，使用无类型。无类型会增加开销，因为涉及到数据的转化。不过对于无类型在创建描述符（视图）来进行解释的时候一定要明确。3、纹理都要作为渲染管线使用的资源，都要存储到显存当中，为了减少存储空间的占用，一般会压缩纹理，但是经过压缩之后的纹理只可以作为着色器资源，不可以作为渲染目标。
2024-07-19 16:52:35
14
转载 DirectX11 高级着色器语言HLSL入门
数据类型的详细信息；而整数什么的在显卡中被放到四元组的一个分量里使用，而很多显卡中，整数、布尔值都不被直接支持，而是转为浮点数使用。当然，你也可以使用任意不超过4的维度的向量或矩阵，如int3，float3x3，double1。当定义函数参数时，还有一些事项需要注意，因为 HLSL 没有具体的方式用于返回参数列表中的值的引用，这需要通过定义少量的关键字来达成同样的结果。SV_POSITION是事先已经定义好的语义，像素着色器的顶点语义不是POSITION，而是SV_POSITION，这两种语义的区别在于。
2024-07-19 15:51:11
14
原创 着色器介绍
着色器（Shader）是一个更广泛的概念，它包括顶点着色器和像素着色器等多种类型，用于实现图像渲染。着色器用来替代固定渲染管线的可编辑程序，可以实现3D图形学计算中的相关计算，包括顶点着色器和像素着色器等。它是着色器中的一个组成部分，与像素着色器（Pixel Shader）共同作用，实现图像渲染。它允许开发者在3D场景中增加各式特效，通过处理顶点的数据（如位置、颜色等），影响最终图形的渲染结果。着色器在离线渲染领域已经出现了多年，并且广泛应用于电影等方面，而。
2024-07-19 14:58:15
230
转载 深入GPU硬件架构及运行机制
15、最后一步，现在像素着色器已经完成了颜色的计算还有深度值的计算，在这个点上，我们必须考虑三角形的原始api顺序，然后才将数据移交给ROP(render output unit，渲染输入单元)，一个ROP内部有很多ROP单元，在ROP单元中处理深度测试，和framebuffer的混合，深度和颜色的设置必须是原子操作，否则两个不同的三角形在同一个像素点就会有冲突和错误。这里就会有个矛盾产生，GPU天生是并行且相对固定的，未来将会开放越来越多的shader可供编程，而CPU刚好相反，将往并行化发展。
2024-07-19 14:07:28
21
转载 词嵌入向量（Word Embedding）的原理和生成方法
在Validate过程中，对测试数据集中的单词，利用embeddings矩阵计算测试单词和所有其他单词的相似度，输出相似度最高的几个单词，看看它们相关性如何，作为一种验证方式。one-hot表示方式很直观，但是有两个缺点，第一，矩阵的每一维长度都是字典的长度，比如字典包含10000个单词，那么每个单词对应的one-hot向量就是1X10000的向量，而这个向量只有一个位置为1，其余都是0，浪费空间，不利于计算。通过这个神经网络，就可以完成WordEmbedding的训练，继而应用于其他NLP的任务。
2024-07-17 11:41:37
37
转载 什么是词向量？如何得到词向量？Embedding 快速解读
我第一次接触 Embedding 是在 Word2Vec 时期，那时候还没有 Transformer 和 BERT。Embedding 给我的印象是，可以将词映射成一个数值向量，而且语义相近的词，在向量空间上具有相似的位置。有了 Embedding ，就可以对词进行向量空间上的各类操作，比如用 Cosine 距离计算相似度；句子中多个词的 Embedding 相加得到句向量。图1 Word2Vec 时期，Embedding 可以将词映射到向量空间，语义相似的词在向量空间里有相似的位置。
2024-07-17 10:32:10
19
转载 矩阵和向量的点乘与叉乘
与向量点乘不同，向量叉乘的运算结果是一个向量而不是一个标量。两个向量叉乘所得向量与这两个向量垂直，如下图所示。哈达玛积在书写时用⊙表示，向量可以看做是一维矩阵，也可进行哈达玛积。在数学中，矩阵是一个按照长方阵列排列的复数或实数集合。排成的m行n列的数表称为m行n列的矩阵，简称m×n矩阵。当矩阵A和矩阵B的维度相同时，矩阵点乘即为。矩阵对应二维数组（array）。点积、内积、数量积、标量积。与这两个向量所在的平面垂直。向量积、矢积、外积、叉积。向量是由N个实数组成的。
2024-07-17 08:29:57
40
转载 Scaled Dot-Product Attention
Scaled Dot-Product Attention的本质是通过点积量化查询与键之间的相似度，然后通过softmax分配注意力权重，并依据这些权重对值向量进行加权求和，以形成对输入序列中每个位置的上下文敏感表示。计算query（查询）向量与一组key（键）向量之间的点积相似度，并通过softmax函数转换为概率分布，然后用这个概率分布加权value（值）向量，从而聚焦在最重要（相似度最高）的信息上。的增加，点积的结果也会迅速增大，可能导致softmax函数梯度变得极小，影响训练效果。
2024-07-16 15:55:56
16
转载 python中的gensim
3、文档处理步骤相对复杂：相比于一些简化和高度封装的文本处理库，Gensim 对于一些常用操作的实现需要较多的代码和步骤。TF-IDF（Term Frequency-Inverse Document Frequency）是一种常用的文本特征选择方法，它可以根据单词在文本中的出现次数和在整个语料库中的出现频率，计算单词的重要性。虽然 Gensim 提供了一些针对大数据集的优化技术，如分布式计算和流式处理，但对于非常大的数据集或需要实时处理的场景，可能需要考虑其他更高效的库，如 Spark NLP。
2024-07-16 15:35:24
15
转载 Gensim详细介绍和使用：一个Python文本建模库
Gensim中的算法，如Word2Verc、FastText、潜在语义索引（LSI、LSA、LsiModel）、潜在狄利克雷分配（LDA、LdaModel）等，通过检查训练文档语料库中的统计共现模式，自动发现文档的语义结构。这些算法是无监督的，这意味着不需要人工输入——你只需要一个纯文本文档的语料库。
2024-07-16 15:14:07
16
转载 余弦相似度
余弦相似性通过测量两个向量的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1；并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值为1；两个向量夹角为90°时，余弦相似度的值为0；两个向量指向完全相反的方向时，余弦相似度的值为-1。这结果是与向量的长度无关的，仅仅与向量的指向方向相关。余弦相似度通常用于正空间，因此给出的值为-1到1之间。
2024-07-16 14:52:20
8
原创 python中安装gensim包
Gensim是一个Python库，它为自然语言处理任务和文本处理任务提供了简单而强大的接口。它可以用于文本相似性计算、主题建模、词嵌入和其他自然语言处理任务。Gensim库的优点之一是其简单性和易用性。在本文中，我们将教您如何使用Python轻松安装Gensim库和相应的依赖项。
2024-07-16 14:44:03
486
转载 小语言模型的兴起-高效且可定制
在过去的几年里，我们看到了人工智能能力的爆炸式增长，其中很大一部分是由大型语言模型（LLM）的进步推动的。像 GPT-3 这样的模型包含 1750 亿个参数，已经显示出生成类似人类的文本、回答问题、总结文档等的能力。然而，虽然大语言模型的能力令人印象深刻，但其庞大的规模导致了效率、成本和可定制性方面的缺点。这为一类新兴模型（称为小语言模型（SLM））打开了大门。
2024-07-16 11:00:41
12
转载 什么是数据可视化
而同样的数据，不同的人做出来的可视化结果会天差地别，比如说饼图，也就是Pie Chart，会经常被用来展示各个成分的比例，比如下图，红色块代表的消费占比最大，一目了然，完全不需要加文字描述。特别要注意的，Y轴要从0开始，不然很容易误导读者，比如下面这个图，其实两者的数据都一样，但是右边是从90开始，从视觉上感觉两个相差很大，其实从0开始看的话（左图），两者几乎是持平的。这种相关性是双向的，有正向的，也有负向的，比如说你的体重就跟你的每天跑步时间成反比，意味着你跑的距离越长，你的体重越轻。
2024-07-16 09:53:04
7
转载 Python 面向对象（初级篇）
面向过程：根据业务逻辑从上到下写垒代码函数式：将某功能代码封装到函数中，日后便无需重复编写，仅调用函数即可面向对象：对函数进行分类和封装，让开发“更快更好更强...”面向过程编程最易被初学者接受，其往往用一长段代码来实现指定功能，开发过程中最常见的操作就是粘贴复制，即：将之前实现的代码块复制到现需功能处。随着时间的推移，开始使用了函数式编程，增强代码的重用性和可读性，就变成了这样：今天我们来学习一种新的编程方式：面向对象编程（Object Oriented Programming，OOP，面向对
2024-07-13 21:21:00
20
转载 如何使用阿里云ECS开socks代理？
说明：我没有开启http代理，我觉得开启http代理应该也是一样的，不过阿里云ECS默认打开的端口有限，因此我不开https代理（使用443端口进行演示，如果安全组申请了其他端口，可以自行更改）：使用CCProxy：（需要改动的很少，其他基本按默认即可）
2024-07-13 10:25:13
22
转载 SOCKS5代理
采用socks协议的代理服务器就是SOCKS服务器，是一种通用的代理服务器。Socks是个电路级的底层网关，是DavidKoblas在1990年开发的，此后就一直作为Internet RFC标准的开放标准。Socks 不要求应用程序遵循特定的操作系统平台，Socks 代理与应用层代理、 HTTP 层代理不同，Socks 代理只是简单地传递数据包，而不必关心是何种应用协议（比如FTP、HTTP和NNTP请求）。所以，Socks代理比其他应用层代理要快得多。
2024-07-12 17:58:41
80
转载 在windows系统使用3proxy安装socks5代理服务
在本篇博客文章中，我们将详细介绍如何在Windows系统上通过3proxy软件搭建一个SOCKS5代理服务器。3proxy是一个轻量级、免费的代理服务器软件，支持SOCKS, HTTP, FTP代理等多种协议。通过搭建SOCKS5代理服务器，您可以更安全地浏览互联网、管理网络流量或访问特定服务。
2024-07-12 13:56:52
106
转载 Socks5工作原理与搭建
Socks5协议是一款广泛使用的代理协议，它在使用TCP/IP协议通讯的客户端和服务器之间扮演一个中介角色，使得内部网中的客户端变得能够访问Internet网中的服务器，或者使C/S（Client和Server）之间的通讯更加安全。SOCKS5 代理服务器通过将客户端发来的请求转发给真正的目标服务器， 模拟了一个客户端请求操作。
2024-07-12 12:00:48
91
转载 chromedriver的无界面(headless)模式及使用代理
在我们使用Selenium驱动ChromeDriver时，可以弹出谷歌浏览器，模拟人为操作谷歌浏览器，这就是自动化测试。虽然很厉害，但是也有一个很现实的问题，因为是要真实加载完整网页，导致效率低。在自动化测试时，我们其实只需要知道是测试完成还是未完成，至于能否看到完整的UI对我们来说是不重要的，那Headless Chrome就是谷歌为此类需求定制的无UI浏览器，因为 UI 需要 CPU 和 RAM 开销，所以Headless Chrome会快很多。先说下演示环境：OS：Mac。
2024-07-12 09:20:44
43
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人