ljp1919的专栏

背景有些场景在容器内部需要调用 docker 命令。为此，本文梳理2种可以在容器内部执行docker命令的方法。方法1：基于 docker.sock/var/run/docker.sock是默认的Unix socket(套接字)，socket是同一机器中进程间通讯的一种方式。Docker daemon 默认监听docker.sock。比如可以使用下述命令获取 docker engine 的版本信息，以下在宿主机上执行：那么如何在 docker 内运行 docker呢？只需要将宿主机的 docker

背景本文简要介绍如何使用 Triton 部署 BERT模型，主要参考 NVIDIA/DeepLearningExamples准备工作下载数据进入到/data/DeepLearningExamples-master/PyTorch/LanguageModeling/BERT/data/squad后，下载数据:bash ./squad_download.sh下载模型wget --content-disposition https://api.ngc.nvidia.com/v2/models/n

背景某一列是字符串，想要统计该列字符串分词结果后各词出现的词频。示例代码# -*- coding: utf-8 -*-# @Time : 2022/2/13 4:18 下午# @Author : JasonLiu# @FileName: test.pyimport pdbimport pandas as pdimport numpy as npdf = pd.DataFrame( [[104472, "R.X. Yah & Co"], [104873,

背景DataFrame 中某一列为str类型，(1)想要统计该列方向各个字符的词频(2)将2个列的统计结果进行合并，即相同key进行相加

文章目录前言纯度(purity)纯度的计算Python代码标准互信息(NMI)熵互信息标准互信息MI 和 NMI的计算实现 Python 版调整互信息(AMI)示例代码兰德系数(Rand Index)示例代码调整兰德系数(Adjusted Rand index)示例代码前言本文主要介绍聚类算法的一些常见评测指标。假设某一种算法得到聚类结果为:A=[12111112222311333]\mathrm{A}=\left[\begin{array}{lllllllll}1 & 2 &

背景在用Python搭建服务过程使用字典存放自定义的对象，需要特别指出的是value值是占用内存空间较大的对象。随着时间的流逝和数据的累积，字典的key变得越来越多，从而使得整个字典对象占用过大的内存空间。此时，需要根据实际需要定期删除特定的keys，及时释放内存，否则就可能引发血案：OOM，进程被kill。字典内存释放众所周知，去掉字典中元素可以使用 pop 或者 del 方法，但是这两种方法都没有真正地释放对应的元素的空间。Python 为了保证hash table 探测链的完整，对于那个被删除的

概述根据官网文档的描述，其中 dim表示沿着对应的维度计算余弦相似。那么怎么理解呢？首先，先介绍下所谓的dim:a = torch.tensor([[ [1, 2], [3, 4] ], [ [5, 6], [7, 8] ] ], dtype=torch.float)print(a.shape)"""[ [ [1, 2], [3, 4] ], [ [5, 6], [7, 8] ]]"""假设

背景在数据处理过程中常常会遇到重复的问题，这里简要介绍遇到过的数据重复问题及其如何根据具体的需求进行处理。筛选出指定字段存在重复的数据import pandas as pdstudent_dict = {"name": ["Joe", "Nat", "Harry", "Nat"], "age": [20, 21, 19, 21], "marks": [85.10, 77.80, 91.54, 77.80]}# Create DataFrame from dictstudent_df = pd

背景在使用pandas过程由于文本中存在形如, 、| 等常规字符，所以需要自定义分隔符，特别是自定义由多个字符组成的分隔符。那么此时在使用 pandas.read_csv()的时候要如何设置？解决比如当生成文件的时候使用#|#作为分隔符，直接使用df = pd.read_csv(raw_file, sep='#|#', quoting=3)会报错： df = pd.read_csv(raw_file, sep='#|#', quoting=3) File "/data/miniconda3

背景构建一个大字典，并往其中增减元素，但是发现整体的内存消耗并没有因此而维持稳定状态，而是不断增加。问题解析Python中的字典，只有不再使用的时候才会释放对应的内存。在使用 pop 或者 delete 删除字典中的item(或者说entry)后，为了保证hash table 探测链的完整，那个被删除的entry只是被标记成了空，并没有真正被删除掉，所以该字典的内存占用没有得到释放。这是为了避免多度重建hash table。那如何释放字典的内存？现已知的方案是创建或者拷贝一个旧字典再覆盖掉新字典。具体

背景面对海量任务需要高效对其进行消费，而任务之间不存在处理结果的相互依赖。方案1: multiprocessing模块以下模拟每个任务处理耗时1s，共有50任务的场景。示例代码如下:import timefrom multiprocessing import Pooldef function_call(task_dict): time.sleep(1) # 模拟真实的处理流程 print(task_dict)if __name__ == '__main__':

基本信息标题：Autoregressive Entity Retrieval机构：阿姆斯特丹大学、Facebook AI Research、巴黎高师、巴黎文理研究大学、法国国家信息与自动化研究所、英国伦敦大学学院作者：Nicola De Cao, Gautier Izacard, Sebastian Riedel, Fabio Petroni论文代码：https://github.com/facebookresearch/GENRE论文地址：https://arxiv.org/abs/2

0.引言Pytorch 创建用以输入到模型的数据的一般流程如下：创建一个 Dataset 对象，实现__getitem__()和__len__()这两个方法，会用到 transform 对数据进行扩充；创建一个 DataLoader 对象，该对象可以对上述Dataset对象进行迭代遍历DataLoader对象，将样本和标签加载到模型中进行训练。在上述流程中会涉及 Dataset 、 Dataloader 、Sampler 和 TensorDataset，以下将逐一介绍。1. D

背景对于给定具体标签,如何将其转为one-hot形式？比如标签集合体育', '娱乐', '家居', '房产', '教育', '时尚', '时政', '游戏', '科技', '财经'，对于multiclass任务，如何将训练数据集中的样本的标签转为one-hot形式？方法1： import numpy as np label_list = ['体育', '娱乐', '家居', '房产', '教育', '时尚', '时政', '游戏', '科技', '财经'] label_dict

https://www.programiz.com/python-programming/property引言本文将要介绍Python中@property装饰器，这是一种python风格的getters和setters方法。Python编程为我们提供了一个内置的@property装饰器，它使面向对象编程中的getter和setter更容易使用。在深入了解@property装饰器是什么之前，让我们先对为什么需要它有一个直观的认识。类中没有Getters 和 Setters方法假设我们决定创建一个以摄氏

引言Python有一个名为decorator的有趣特性，可以在现有代码基础上添加功能，即进行装饰。这种方式也称为元编程(metaprogramming )，因为程序的一部分试图在编译时修改程序的另一部分。预备知识第一， 在学习Decorators之前，我们需要有个概念：Python中一切都是对象。定义的名称只是绑定到这些对象的标识符。函数也不例外，也是对象(带有属性)。可以将不同的名称绑定到同一个函数对象。举例如下：def first(msg): print(msg)first("He

背景本文尝试介绍Python中的闭包(closure)，包括闭包是什么？ 为什么要使用闭包？如何使用闭包？嵌套函数及非局部变量在介绍闭包之前，需要先明白什么是嵌套函数和非局部变量。在一个函数(fun1)中定义的另一个函数(fun2)称为嵌套函数。嵌套函数(fun1)可以访问外围作用域的变量，即为非局部变量。换一句话说，嵌套函数能够访问enclosing scope(闭包作用域，或者外围作用域，或者外层作用域)下的变量。这些非局部变量默认情况下是只读的，为了修改它们，必须显式地将它们声明为非局部变量(使

背景在使用其他组织或个人发布的RoBERTa预训练模型时，一般除了模型文件之外还会有merges.txt和vocab.json。相比于BERT只需要一个vocab.txt，为何RoBRETa需要2个？作用是什么？说明Bert采用的是字符级别的BPE编码，直接生成词表文件。Roberta采用的是**byte level的BPE(BBPE)**编码，预训练结果中的merges.txt中存储了BBPE过程中merge得到的所有token，可以简单理解成就是字典。vocab.json则是一个字典中基本单元到索

基本信息题目：DeBERTa: Decoding-enhanced BERT with Disentangled Attention机构：微软研究院作者：Pengcheng He, Xiaodong Liu, Jianfeng Gao, Weizhu Chen论文地址：https://arxiv.org/abs/2006.03654论文代码：https://github.com/microsoft/DeBERTa简介Q： 文章要解决的问题是什么？A： 改善 BERT 和 RoBER

背景在pandas中对数据进行分组后，想要对相同组的数据进行其他字段的合并。类似场景：有2个字段，分别是文本内容和标签值。先根据文本内容进行分组，再对同一个组内的标签值进行合并，从而得到多标签值。实施测试： import pandas as pd df = pd.DataFrame({'text': ['华中科技大学', '武汉大学', '清华大学', '华中科技大学', '武汉大学'], 'label': ["985,理工", "985"