JasonLiu1919
码龄10年
  • 1,530,396
    被访问
  • 372
    原创
  • 3,064
    排名
  • 600
    粉丝
关注
提问 私信

个人简介:却顾所来径,苍苍横翠微。 微信号:onepieceand

  • 加入CSDN时间: 2011-12-28
博客简介:

ljp1919的专栏

博客描述:
《采坑实录》、《搬砖心路历程》
查看详细资料
  • 5
    领奖
    总分 1,614 当月 47
个人成就
  • 博客专家认证
  • 获得518次点赞
  • 内容获得297次评论
  • 获得1,706次收藏
创作历程
  • 4篇
    2022年
  • 18篇
    2021年
  • 36篇
    2020年
  • 34篇
    2019年
  • 13篇
    2018年
  • 68篇
    2017年
  • 64篇
    2016年
  • 60篇
    2015年
  • 35篇
    2014年
  • 42篇
    2013年
  • 13篇
    2012年
成就勋章
TA的专栏
  • 模型部署
    1篇
  • pandas
    12篇
  • PyTorch
    6篇
  • 数据处理
    8篇
  • 并行
    1篇
  • 机器翻译
    3篇
  • 文学艺术
    1篇
  • 文本生成
    4篇
  • 搜索
    1篇
  • 刷题
  • 推理加速
    3篇
  • 模型压缩
    1篇
  • GPU
    2篇
  • Rasa
    12篇
  • 智能问答
    4篇
  • neo4j
    2篇
  • 概率图模型
    1篇
  • matlab图像处理
    7篇
  • vc图像处理
    6篇
  • 面向对象的程序设计
    72篇
  • 图像领域
    10篇
  • 可视化编程
    5篇
  • Qt
    1篇
  • 数据结构与算法
    25篇
  • Python
    46篇
  • ITK
    10篇
  • linux操作系统
    14篇
  • 办公软件
    6篇
  • 生活常识
  • ACM
    1篇
  • C++
    53篇
  • 机器学习
    17篇
  • 安卓
    3篇
  • 测试
    2篇
  • 网络编程
    8篇
  • STL
    7篇
  • Lua
    14篇
  • MySQL
    3篇
  • 多线程和多进程
    11篇
  • 数据库
    1篇
  • leveldb
    1篇
  • javascript
    5篇
  • boost
    3篇
  • redis
    1篇
  • php
    5篇
  • nginx
    3篇
  • elasticsearch
    1篇
  • kafka
    1篇
  • 深度学习
    45篇
  • tensorflow
    4篇
  • 杂文
  • 论文解读
    31篇
  • 知识图谱
    3篇
  • NLP
    16篇
  • 语言模型
    18篇
  • 机器阅读理解
    3篇
  • 工具箱
    1篇
  • 最近
  • 文章
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

如何在 docker 容器内部运行 docker命令

背景有些场景在容器内部需要调用 docker 命令。为此,本文梳理2种可以在容器内部执行docker命令的方法。方法1:基于 docker.sock/var/run/docker.sock是默认的Unix socket(套接字),socket是同一机器中进程间通讯的一种方式。Docker daemon 默认监听docker.sock。比如可以使用下述命令获取 docker engine 的版本信息,以下在宿主机上执行:那么如何在 docker 内运行 docker呢?只需要将宿主机的 docker
原创
发布博客 2022.03.15 ·
800 阅读 ·
0 点赞 ·
0 评论

基于Triton Server部署BERT模型

背景本文简要介绍如何使用 Triton 部署 BERT模型,主要参考 NVIDIA/DeepLearningExamples准备工作下载数据进入到/data/DeepLearningExamples-master/PyTorch/LanguageModeling/BERT/data/squad后,下载数据:bash ./squad_download.sh下载模型wget --content-disposition https://api.ngc.nvidia.com/v2/models/n
原创
发布博客 2022.03.11 ·
3503 阅读 ·
0 点赞 ·
0 评论

pandas:统计某一列字符串中各个word出现的频率

背景某一列是字符串,想要统计该列字符串分词结果后各词出现的词频。示例代码# -*- coding: utf-8 -*-# @Time : 2022/2/13 4:18 下午# @Author : JasonLiu# @FileName: test.pyimport pdbimport pandas as pdimport numpy as npdf = pd.DataFrame( [[104472, "R.X. Yah & Co"], [104873,
原创
发布博客 2022.02.13 ·
644 阅读 ·
0 点赞 ·
0 评论

pandas中列方向字符统计及其合并

背景DataFrame 中某一列为str类型,(1)想要统计该列方向各个字符的词频(2)将2个列的统计结果进行合并,即相同key进行相加
原创
发布博客 2022.01.19 ·
495 阅读 ·
0 点赞 ·
0 评论

聚类算法指标整理

文章目录前言纯度(purity)纯度的计算Python代码标准互信息(NMI)熵互信息标准互信息MI 和 NMI的计算实现 Python 版调整互信息(AMI)示例代码兰德系数(Rand Index)示例代码调整兰德系数(Adjusted Rand index)示例代码前言本文主要介绍聚类算法的一些常见评测指标。假设某一种算法得到聚类结果为:A=[12111112222311333]\mathrm{A}=\left[\begin{array}{lllllllll}1 & 2 &
原创
发布博客 2021.11.28 ·
403 阅读 ·
0 点赞 ·
0 评论

Python 字典内存释放及其浅拷贝和深拷贝之间的区别

背景在用Python搭建服务过程使用字典存放自定义的对象,需要特别指出的是value值是占用内存空间较大的对象。随着时间的流逝和数据的累积,字典的key变得越来越多,从而使得整个字典对象占用过大的内存空间。此时,需要根据实际需要定期删除特定的keys,及时释放内存,否则就可能引发血案:OOM,进程被kill。字典内存释放众所周知,去掉字典中元素可以使用 pop 或者 del 方法,但是这两种方法都没有真正地释放对应的元素的空间。Python 为了保证hash table 探测链的完整,对于那个被删除的
原创
发布博客 2021.11.18 ·
277 阅读 ·
0 点赞 ·
0 评论

torch.nn.functional.cosine_similarity使用详解

概述根据官网文档的描述,其中 dim表示沿着对应的维度计算余弦相似。那么怎么理解呢?首先,先介绍下所谓的dim:a = torch.tensor([[ [1, 2], [3, 4] ], [ [5, 6], [7, 8] ] ], dtype=torch.float)print(a.shape)"""[ [ [1, 2], [3, 4] ], [ [5, 6], [7, 8] ]]"""假设
原创
发布博客 2021.10.07 ·
5096 阅读 ·
3 点赞 ·
0 评论

Pandas中数据去重

背景在数据处理过程中常常会遇到重复的问题,这里简要介绍遇到过的数据重复问题及其如何根据具体的需求进行处理。筛选出指定字段存在重复的数据import pandas as pdstudent_dict = {"name": ["Joe", "Nat", "Harry", "Nat"], "age": [20, 21, 19, 21], "marks": [85.10, 77.80, 91.54, 77.80]}# Create DataFrame from dictstudent_df = pd
原创
发布博客 2021.09.29 ·
1465 阅读 ·
0 点赞 ·
0 评论

pandas中分隔符由多个字符组成

背景在使用pandas过程由于文本中存在形如, 、| 等常规字符,所以需要自定义分隔符,特别是自定义由多个字符组成的分隔符。那么此时在使用 pandas.read_csv()的时候要如何设置?解决比如当生成文件的时候使用#|#作为分隔符,直接使用df = pd.read_csv(raw_file, sep='#|#', quoting=3)会报错: df = pd.read_csv(raw_file, sep='#|#', quoting=3) File "/data/miniconda3
原创
发布博客 2021.09.25 ·
428 阅读 ·
0 点赞 ·
0 评论

python中如何释放字典的内存占用?

背景构建一个大字典,并往其中增减元素,但是发现整体的内存消耗并没有因此而维持稳定状态,而是不断增加。问题解析Python中的字典,只有不再使用的时候才会释放对应的内存。在使用 pop 或者 delete 删除字典中的item(或者说entry)后,为了保证hash table 探测链的完整,那个被删除的entry只是被标记成了空,并没有真正被删除掉,所以该字典的内存占用没有得到释放。这是为了避免多度重建hash table。那如何释放字典的内存?现已知的方案是创建或者拷贝一个旧字典再覆盖掉新字典。具体
原创
发布博客 2021.09.17 ·
886 阅读 ·
0 点赞 ·
0 评论

python中用 multiprocessing 加速任务处理

背景面对海量任务需要高效对其进行消费,而任务之间不存在处理结果的相互依赖。方案1: multiprocessing模块以下模拟每个任务处理耗时1s,共有50任务的场景。示例代码如下:import timefrom multiprocessing import Pooldef function_call(task_dict): time.sleep(1) # 模拟真实的处理流程 print(task_dict)if __name__ == '__main__':
原创
发布博客 2021.08.28 ·
115 阅读 ·
0 点赞 ·
0 评论

ICLR 2021 | Autoregressive Entity Retrieval

基本信息标题:Autoregressive Entity Retrieval机构:阿姆斯特丹大学、Facebook AI Research、巴黎高师、巴黎文理研究大学、法国国家信息与自动化研究所、英国伦敦大学学院作者:Nicola De Cao, Gautier Izacard, Sebastian Riedel, Fabio Petroni论文代码:https://github.com/facebookresearch/GENRE论文地址:https://arxiv.org/abs/2
原创
发布博客 2021.05.16 ·
783 阅读 ·
1 点赞 ·
1 评论

Pytorch中数据读取-Dataset、Dataloader 、TensorDataset 和 Sampler 的使用

0.引言Pytorch 创建用以输入到模型的数据的一般流程如下:创建一个 Dataset 对象,实现__getitem__()和__len__()这两个方法,会用到 transform 对数据进行扩充;创建一个 DataLoader 对象,该对象可以对上述Dataset对象进行迭代遍历DataLoader对象,将样本和标签加载到模型中进行训练。在上述流程中会涉及 Dataset 、 Dataloader 、Sampler 和 TensorDataset,以下将逐一介绍。1. D
原创
发布博客 2021.05.07 ·
1572 阅读 ·
4 点赞 ·
1 评论

将标签转为onehot形式

背景对于给定具体标签,如何将其转为one-hot形式?比如标签集合体育', '娱乐', '家居', '房产', '教育', '时尚', '时政', '游戏', '科技', '财经',对于multiclass任务,如何将训练数据集中的样本的标签转为one-hot形式?方法1: import numpy as np label_list = ['体育', '娱乐', '家居', '房产', '教育', '时尚', '时政', '游戏', '科技', '财经'] label_dict
原创
发布博客 2021.03.25 ·
754 阅读 ·
2 点赞 ·
4 评论

python中的@property装饰器

https://www.programiz.com/python-programming/property引言本文将要介绍Python中@property装饰器,这是一种python风格的getters和setters方法。Python编程为我们提供了一个内置的@property装饰器,它使面向对象编程中的getter和setter更容易使用。在深入了解@property装饰器是什么之前,让我们先对为什么需要它有一个直观的认识。类中没有Getters 和 Setters方法假设我们决定创建一个以摄氏
原创
发布博客 2021.02.08 ·
301 阅读 ·
1 点赞 ·
2 评论

python中的装饰器(Decorator)

引言Python有一个名为decorator的有趣特性,可以在现有代码基础上添加功能,即进行装饰。这种方式也称为元编程(metaprogramming ),因为程序的一部分试图在编译时修改程序的另一部分。预备知识第一, 在学习Decorators之前,我们需要有个概念:Python中一切都是对象。定义的名称只是绑定到这些对象的标识符。函数也不例外,也是对象(带有属性)。可以将不同的名称绑定到同一个函数对象。举例如下:def first(msg): print(msg)first("He
原创
发布博客 2021.02.08 ·
119 阅读 ·
1 点赞 ·
2 评论

python中的闭包(closure)

背景本文尝试介绍Python中的闭包(closure),包括闭包是什么? 为什么要使用闭包?如何使用闭包?嵌套函数及非局部变量在介绍闭包之前,需要先明白什么是嵌套函数和非局部变量。在一个函数(fun1)中定义的另一个函数(fun2)称为嵌套函数。嵌套函数(fun1)可以访问外围作用域的变量,即为非局部变量。换一句话说,嵌套函数能够访问enclosing scope(闭包作用域,或者外围作用域,或者外层作用域)下的变量。这些非局部变量默认情况下是只读的,为了修改它们,必须显式地将它们声明为非局部变量(使
原创
发布博客 2021.02.08 ·
274 阅读 ·
0 点赞 ·
1 评论

RoBERTa中的merge.txt和vocab.json是什么?

背景在使用其他组织或个人发布的RoBERTa预训练模型时,一般除了模型文件之外还会有merges.txt和vocab.json。相比于BERT只需要一个vocab.txt,为何RoBRETa需要2个?作用是什么?说明Bert采用的是字符级别的BPE编码,直接生成词表文件。Roberta采用的是**byte level的BPE(BBPE)**编码,预训练结果中的merges.txt中存储了BBPE过程中merge得到的所有token,可以简单理解成就是字典。vocab.json则是一个字典中基本单元到索
原创
发布博客 2021.02.03 ·
1705 阅读 ·
4 点赞 ·
1 评论

ICLR 2021 | 微软DeBERTa:SuperGLUE上的新王者

基本信息题目:DeBERTa: Decoding-enhanced BERT with Disentangled Attention机构:微软研究院作者:Pengcheng He, Xiaodong Liu, Jianfeng Gao, Weizhu Chen论文地址:https://arxiv.org/abs/2006.03654论文代码:https://github.com/microsoft/DeBERTa简介Q: 文章要解决的问题是什么?A: 改善 BERT 和 RoBER
原创
发布博客 2021.01.15 ·
385 阅读 ·
1 点赞 ·
0 评论

pandas分组之后对相同group内的字段进行合并

背景在pandas中对数据进行分组后,想要对相同组的数据进行其他字段的合并。类似场景:有2个字段,分别是文本内容和标签值。先根据文本内容进行分组,再对同一个组内的标签值进行合并,从而得到多标签值。实施测试: import pandas as pd df = pd.DataFrame({'text': ['华中科技大学', '武汉大学', '清华大学', '华中科技大学', '武汉大学'], 'label': ["985,理工", "985"
原创
发布博客 2021.01.15 ·
977 阅读 ·
1 点赞 ·
2 评论
加载更多