一休哥的专栏

Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。

计算机算法为解决问题提供了系统的步骤和方法。无论是开发软件应用、优化搜索引擎、处理大数据，还是进行人工智能的训练，算法都起着至关重要的作用。：表示算法执行所需的时间，通常用“大O”符号表示，如O(n)、O(log n)、O(n^2)等。算法分析主要关注算法的效率和资源使用，通常通过时间复杂度和空间复杂度来衡量。算法是解决问题的一系列明确指令或步骤。计算机专业的应用领域非常广泛，几乎涵盖了所有行业。：表示算法执行所需的内存空间，同样用“大O”符号表示。方向二：专业与个人的匹配度判断。方向三：专业前景分析。

在反向传播计算时，梯度的计算是累加，但是每个batch处理时不需要和其它batch混合起来累加计算，所以对每个batch调用zero_grad将参数梯度置0。#如果不是每个batch清理依次梯度，而是两次或者多次清理，相当于提高了batch批次大小。optimizer.step()#更新参数，梯度被反向计算之后，调用函数进行所有参数更新。optimizer.zero_grad() ，用于将模型的参数梯度初始化为0。optimizer.zero_grad()#将模型参数梯度置为0；

markdown格式的数据可以存入大模型的知识库中，使用大模型进行excel表格内容的检索温度。3.查找标题部分，有些标题包含合并单元格，将其进行拆解；拆解后转为markdown格式；4.处理body部分，从标题往下，转markdown结构。2.有些表格开头是表格内容描述，将其查找出来；1.通过pandas读取excel文件；

1.编写脚本，并设置脚本为可执行权限chmod a+x 脚本名称。2.设置crontab定时任务，执行。

CoNLL-2012 数据格式是用于自然语言处理任务的一种常见格式，特别是在命名实体识别、词性标注、句法分析和语义角色标注等领域。这种格式在 CoNLL-2012 共享任务中被广泛使用，该任务主要集中在语义角色标注上。CoNLL-2012 数据格式通常包括多列，每列包含不同类型的语言学信息。这个示例中同一共指簇的信息为 [82, 9, 9], [82, 6, 7]，表示第9个词“其”和第6和第7“卡通形象”，指代相同。第二列是文档片段iid，大部分是0。其中，共指标记中，相同数字的表示同一指代簇。

MLM：带遮罩的语言模型NSP：单句预测，任务包括两个输入序列SBO：分词边界目标。

corefBERT语言表示模型，可以更好的捕获和表示共引用信息。corefBERT引入一种新的预训练任务MRP(mention refenrece prediction)，MRP利用重复出现的提及获得丰富的共指关系。MRP使用掩码方法遮盖一个或者多个提及，模型预测被遮盖住的整个提及。根据上图，词的损失由MRP提及参考预测和MLM遮盖语言建模损失两部分构成。

指代，在下文采用简称或者代称来代替上文已经出现的某一词语，语言学中把这种现象叫做指代现象。指代，是语言学中的一种语言现象，使用指代词来代替文本中已经出现的某个语言单元的表达方式。将代表同一实体的不同表述划分到一个等价集合的过程称为指代消解。指代消解在信息抽取、智能问答等任务中，具有十分重要的作用。

2.定义优化器： 创建一个优化器（如 SGD 或 Adam）并将模型的参数传递给它，近年来Adam使用较多。在训练循环中使用： 在每个训练迭代（或每个 epoch）结束时，调用学习率调度器的 step()方法。在 PyTorch 中，学习率调度器一般与优化器一起使用，实现在训练过程中动态调整学习率。3.定义学习率调度器StepLR： 创建一个学习率调度器，并将其与优化器关联。是 PyTorch 中的一个学习率调整器，按照一定的步长调整学习率。1.构建模型： 构建神经网络模型。

padding_idx (python:int, optional) – 填充id，比如，输入长度为100，但是每次的句子长度并不一样，后面就需要用统一的数字填充，而这里就是指定这个数字，这样，网络在遇到填充id时，就不会计算其与其它符号的相关性。3.产出计算结果，送入网络的维度是[seq_len， batch_size]，产出结果维度是[seq_len， batch_size,embedding_size]，最后一个维度为词向量。1.随机初始化词向量层，构建二维表，存储语料中每个词的词向量；

根据集合分布，随机选择一段span的长度，之后根据均匀分布随机选择这一段的起始位置，然后按照长度进行遮盖。使用几何分布取p=0.2，最大长度为10，通过采样，平均遮盖长度为3.8个词的长度。2.SBO span boundary objective ，希望被遮盖span边界的词向量，能学习到span的内容。再训练时，取span前后边界的两个词，用这两个词向量加上span中被遮盖词的位置向量，预测原词。最后预测span中原值时计算新损失，即SBO目标的损失。将词向量和位置向量拼接起来，加两层全连接。

假设输入为X, mask为m，则m服从一个伯努利分布(Φ ( x ) \Phi(x)Φ(x), Φ ( x ) = P ( X < = x ) , X 服 从 标 准 正 太 分 布 \Phi(x)=P(X

给定一组 (xi, yi)，其中 i = 1, 2, ..., n，而且 xi 是有序的，称为「标准点」。两个函数名称都是以 spl 开头，全称 spline (样条)，可以理解这两个函数都和样条有关。1）输入：x为特征，y为目标变量. 2）输出：r： 相关系数 [-1，1]之间，p-value: p值。注： p值越小，表示相关系数越显著，一般p值在500个样本以上时有较高的可靠性。rep：representation 的缩写，那么 splrep 其实生成的是一个「表示样条的对象」「风险平价」模型权重。

激活函数，relu的整体效果较好

k-近邻算法（KNN），工作原理

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。

时间序列可以进行电力负荷预测、客流量预测等。时间序列使用双向网络的效果优于单项网络，LSTM、GRU网络等可以根据自己的数据进行测试，选择符合自己场景的网络模型。

1）读取输入的文本内容，对其进行tokenizer计算，产出计算特征；2）对语料进行shuffle3）计算label4）计算schema5）定义网络定义GlobalPointer，创建实体网络、关系头网络、关系尾网络；6）稀疏交叉熵计算损失值使用BertAdam进行优化。

推荐系统、系统过滤，旨在为用户提供个性化的信息服务和内容推荐，以满足用户的特定需求和喜好。