- 博客(90)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 docker设置免sudo权限
docker设置免sudo权限 可能会提示docker用户组已存在。一般安装docker后会自动创建。注销，重新登录即可生效。
2022-09-29 17:18:05
476
原创 Dockerfile关键词
当构建一个被继承 Dockerfile 这个时候就会运行ONBUILD 的指令。指定这个容器启动的时候要运行的命令，只有最后一个会生效，可被替代。指定这个容器启动的时候要运行的命令，可以追加命令。添加内容，如果是压缩包会自动解压缩。类似ADD，将我们文件拷贝到镜像中。基础镜像，一切从这里开始构建。镜像构建的时候需要运行的命令。镜像是谁写的，姓名+邮箱。指定后续执行命令的用户。构建的时候设置环境变量。
2022-09-29 15:43:18
242
原创 使用vnc远程centos桌面
如果有多个用户则使用空格隔开,如"usernumber1:username1 usernumber2:username2":为分别给用户设置参数,[1]为用户号,-geometry是设置分辨率。需要注意的是,当有多个用户时,为指定用户设置密码需要先切换到该用户,如。:设置用户号和用户,形如"usernumber:username"需要注意的是端口号问题,vnc为用户监听的端口号为。也可以只打开指定的端口号,如。该用户对应的用户号指定,如。就是为root用户启动服务。为某个用户启动服务时使用。
2022-09-29 15:32:06
658
原创 Python_Package_inspect模块
python获取文件名/函数名等信息的方法还挺多的，之前都不知道本文主要将inspect模块，其他方法也可以参考哈…inspect是python内置的一个模块，之前都没有接触过，今天有需要，真的很方便本文呢主要就是讲一下inspect.stack()方法，根据其返回值获取各种信息先介绍 inspect.stack()的返回值import inspectinfo = inspect.stack()print(info)>直接上案例帮助大家理解和使用1 获取文件名__f
2021-01-28 17:53:52
470
原创 os＞grammar＞python中os模块的常用语法
OSos.pathos.path.expanduser(path)将path中的 ~ 转换成当前用户目录并返回例：当前登录用户为zxx>>>os.path.expanduser("~/work")>>>/home/zxx/work
2021-01-28 14:23:08
163
原创 ssh＞skill＞ssh设置免密登录
ssh是用来进行远程主机的，有些时候一些应用会依赖ssh，且需要免密访问…1 客户端生成一对密钥（公钥/私钥）ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa-t加密算法类型，这里是使用rsa算法-P指定私钥的密码，不需要可以不指定-f指定生成秘钥对保持的位置2 将客户端公钥发送个服务端（其他客户端）ssh-copy-id user@ip接收公钥的服务端会把公钥追加到服务端对应用户的$HOME/.ssh/authorized_keys文件中
2021-01-28 13:47:32
130
原创 pip＞error＞ERROR: Cannot uninstall ‘xxx‘
在使用pip安装一些安装包时，偶尔会有一些依赖报错问题…例：安装 AAApip install AAA报错 XXXERROR: Cannot uninstall 'XXX'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.此时就是 XXX 无法
2021-01-28 13:42:32
314
原创 horovod＞command＞horovod的一些命令
本文以具体的案例解释命令中的参数作用…1horovodrun -np 1 -H localhost:1 python tensorflow_mnist.py-np指定使用的插槽数量（设备数？），不能超过可用最大输入，否则报错：There are not enough slots available in the system to satisfy the 4 slotsthat were requested by the application:pythonEither reques
2021-01-28 11:20:50
557
原创 horovod＞error＞horovod使用过程中的报错总结
1 运行horovod案例examples中的pytorch_mnist.py 时，执行命令10.211.55.4是目标主机ip，因为只有一个cpu能用，所以-np 1，当使用localhost时就不会有这个异常horovodrun -np 1 -H 10.211.55.4:1 python pytorch_mnist.py报错如下…bash: orted: command not found--------------------------------------------------
2021-01-28 10:58:44
1407
原创 ccache＞install＞ubuntu安装ccache
在安装horovod的时候报错：没有发现ccache，这里记录下安装方法…1 下载3.6版本的ccache安装包也可以下载需要的版本网址https://www.samba.org//ftp/ccache/wget https://www.samba.org//ftp/ccache/ccache-3.6.tar.xz2 解压，并进入到该目录tar -xvf ccache-3.6.tar.xz cd ccache-3.63 配置安装路径我一般都选择安装在 /usr/local/
2021-01-28 09:17:43
1024
1
原创 docker＞command＞docker常用命令
从容器创建镜像docker commit container_name images_name
2021-01-27 18:02:59
129
原创 dataset＞link＞一些数据集的链接
torchvision.datasets.MNISThttp://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz
2021-01-27 16:04:59
175
原创 pip＞skill＞删除pip缓存文件
pip是python的包管理工具，我们经常使用pip安装一些模块，使用pip安装过的文件一般会缓存在本地，下一次安装的时候，如果本地已经缓存过该安装包文件，pip就会从本地直接安装，但是有的时候呢，我们不想从本地缓存中安装文件，这就是这篇文章要说的了1 使用--no-cache-dir参数该方法要求pip版本在6.0以上例：pip --no-cache_dir install numpy悄悄告诉你，我用这个方法目前还没成功过…2 直接删除本地缓存文件不同的操作系统pip缓存的位置不一样
2021-01-27 15:49:23
2245
原创 deep＞frame＞ubuntu安装深度学习框架tensorflow/pytorch/paddlepaddle/caffe2
因为工作需要需要部署各种深度学习框架，这里记录一下分享给大家，系统：ubuntu18.04版本：tensorflow-1.14、torch-1.7.1、torchvision-0.8.2、paddlepaddle-1.8.5、caffe21 部署python环境这里使用anaconda来部署python环境，因为后面安装caffe2时需要使用conda工具可以参考我的另一篇文章基于anaconda部署python环境推荐conda源使用清华源，pip源使用阿里源2 创建虚拟环境上
2021-01-27 10:41:27
235
原创 python＞install＞ubuntu部署python环境
介绍下ubuntu部署python环境，基于anaconda3系统：ubuntu18.04版本：anaconda-2020.071 官网下载目前最新版本的anaconda3Anaconda3-2020.07-Linux-x86_64.sh注意哦：该版本安装后的base环境python版本为python3.82 安装bash Anaconda3-2020.07-Linux-x86_64.sh选择安装位置选择是否添加到环境变量选择是否将Anaconda的Python设置为系统默认3 配置
2021-01-27 09:44:41
221
原创 gcc/g++＞install＞ubuntu安装gcc/g++
在使用编译环境的时候gcc/g++都是必须的（敝人不太懂这方面的东西，总之先记录下来）添加apt源sudo vim /etc/apt/sources.listdeb http://dk.archive.ubuntu.com/ubuntu/ xenial maindeb http://dk.archive.ubuntu.com/ubuntu/ xenial universesudo apt updateapt安装sudo apt-get install gccsudo apt-get
2021-01-26 15:26:06
336
原创 horovod＞install＞ubuntu安装horovod
之前做tensorflow分布式训练的时候，使用tensorflow的原装方法，真的是折腾了将近三周，最近在做pytorch的分布式训练接触到了horovod，暂时没有使用pytorch的原装方法，貌似horovod也可以做tensorflow的分布式训练，下载尝试一下，不管成功与否，记录一下部署过程一、安装依赖环境1 安装mpi2 安装nccl2二、安装horovod1 直接使用pip安装pip install horovod报错1：cmake：command not found解决：
2021-01-26 15:15:41
462
原创 cmake＞install＞ubuntu安装cmake
恕敝人愚昧，不知道make和cmake是神马关系系统：ubuntu18.04版本：3.19.3（目前最新）1 官网下载最新版本的安装包我这下载的linux3.19.3（我这超级慢）cmake-3.19.3.tar.gz2 解压tar -zxvf cmake-3.19.3.tar.gz3 编译./bootstrapmakemake install如果没有报错，那应该就是完成了…...
2021-01-26 14:49:00
298
原创 nccl＞install＞ubuntu安装nccl
nccl是我在安装horovod的时候需要安装的一个依赖，这里单独拿出来写一下方法一：（我失败了）1 从github上获取编译包，并进入该文件夹git clone https://github.com/NVIDIA/ncclcd nccl2 编译make -j8（这一步报错了）sudo make install方法二：1 下载NVIDIA官网安装文件（需要验证，超级慢，而且下载的都是32b的文件，应该是有问题）nvidia-machine-learning-repo-ubuntu18
2021-01-26 14:22:56
737
1
原创 markdown＞skill＞markdown的一些使用技巧
开始使用CSDN的markdown编辑器写博客，有些功能还不会用，搜一搜、查一查、记一记，持续更新，大家可以参考一下一、特殊符号1 空格半方大的空白 或 全方大的空白 或 不断行的空白格 或 注意有个 ; 号...
2021-01-26 12:38:07
105
原创 openmpi＞install＞ubuntu安装openmpi
我这相当于是从零安装，总之就是先安装，然后一路解决报错1 下载安装文件压缩包wget https://download.open-mpi.org/release/open-mpi/v4.0/openmpi-4.0.0.tar.gz报错1：wget:command not found没有安装wget（按理说ubuntu系统会自带，当我这是在docker容器中，那就装一下吧）解决：sudo apt-get install wget2 解压，并进入文件夹tar -zxvf openmpi-4
2021-01-26 12:30:18
3116
3
原创 机器学习-算法-回归算法(线性回归、逻辑回归、softmax回归)
这篇文章介绍一下机器学习算法中比较基础的回归算法1 回归算法回归算法 有监督算法，常用的机器学习算法 建立“解释”变量(自变量X)和观测值(因变量Y)之间的关系； 构建一个算法模型(函数)来做属性(X)与标签(Y)之间的映射关系 试图寻找一个函数使得参数之间的关系拟合性最好 回归算法(函数)的最终结果是一个连续的数据值，输入值(属性值)是一个d维度的属性/数值向量 1.1 线性回归1.1.1 线性回归公式及求解公式 最终要求是计算出的值，并选
2020-09-21 11:22:49
329
原创 机器学习-概述
最近准备总结一下机器学习方面的知识，包括这种算法的原理、推导以及如何实现等，还有一些优化算法等数学知识，先从介绍机器学习方面的概括知识开始吧，包括机器学习的概念以及相关知识。。。1机器学习的定义根据已有的数据进行算法选择，并基于算法和数据构建模型，对未来进行预测基本概念： 输入：（属性值） 输出：（目标值） 获得一个目标函数： （理想的公式） 输入数据：（历史记录信息） 最终具有最优性能的假设公式： （学习得到的最终公式） 2机器学习相关概念：表..
2020-09-21 07:21:15
300
原创 Python_Package_re模块
本文不是汇总所有 re 相关属性和方法，仅作为个人工作学习中记录使用字符相关介绍普通字符没有显式指定为元字符的所有可打印和不可打印字符：包括所有大写和小写字母、所有数字、所有标点符号和一些其他符号。非打印字符非打印字符也可以是正则表达式的组成部分。下表列出了表示非打印字符的转义序列： 方法re.compile(pattern) 编写一个pattern，可以重复使用 re.match(pattern...
2020-09-16 12:58:32
220
转载 深度学习-模型-Seq2Seq、Attention、Transformer、BERT
Seq2SeqSeq2Seq模型分为encoder层与decoder层，并均由RNN或RNN的变体构成在encode阶段，第一个节点输入一个词，之后的节点输入的是下一个词与前一个节点的hidden state，最终encoder会输出一个context，这个context又作为decoder的输入，每经过一个decoder的节点就输出一个翻译后的词，并把decoder的hidden state作为下一层的输入。该模型对于短文本的翻译来说效果很好，但是其也存在一定的缺点，如果文本稍长一些，就很容
2020-09-14 10:29:51
2001
转载 深度学习-算法-CRF
对比一下普通的逐帧softmax和CRF的异同。逐帧softmaxCRF主要用于序列标注问题，可以简单理解为是给序列中的每一帧都进行分类，既然是分类，很自然想到将这个序列用CNN或者RNN进行编码后，接一个全连接层用softmax激活，如下图所示逐帧softmax并没有直接考虑输出的上下文关联CRF-条件随机场然而，当我们设计标签时，比如用s、b、m、e的4个标签来做字标注法的分词，目标输出序列本身会带有一些上下文关联，比如s后面就不能接m和e，等等。逐标签softmax并没有考虑
2020-09-13 23:14:03
2305
原创 深度学习-算法-LSTM、GRU
LSTM简介LSTM，Long-Short Term Memory RNN，长短期记忆模型循环神经网络LSTM是RNN的一个变种，为了解决RNN模型梯度弥散的问题而提出的；在传统的RNN中，训练算法使用的是BPTT，当时间比较长时，需要回传的残差会指数下降，导致网络权重更新缓慢，无法体现出RNN的长期记忆的效果，所以需要一个存储单元来存储记忆，因此LSTM模型被提出；LSTM和RNN的区别RNN与LSTM最大的区别在于LSTM中最顶层多了一条名为“cell state”的信息传送带，其实
2020-09-13 20:48:14
877
原创 算法-机器学习-K-means
K-means算法K-means算法步骤：输入样本为； 选择初始化的个类别中心； 对于每个样本，将其标记为距离类别中心最近的类别（使用欧几里得距离）； 更新每个类别的中心点为隶属该类别的所有样本的均值； 重复3~4步骤，知道达到某个终止条件 终止条件：迭代次数、最小平方误差MSE、簇中心变化率目标函数平方误差，也就是欧几里得距离簇中心点更新公式目标函数求导：得到：优点：理解容易，聚类效果不错； 对于大数据，较好的伸缩性和高效性； 簇近似高斯分布时，效果
2020-09-13 19:40:31
448
原创 算法-机器学习-KNN
K近邻(K-nearst neighbors, KNN)KNN算法原理：从 训练集 中获取距离 待测样本 最近的个样本数据； 根据该个样本数据来预测当前待预测样本的目标属性值KNN算法三要素：K值的选择 一般根据样本分布选择一个较小的值，然后通过交叉验证来最终选择比较合适的**K值** 距离度量 一般使用欧氏距离（欧几里得距离） 决策规则 分类模型：多数表决法、加权多数表决法 回归模型：平均值法、加权平均值法 寻找K个最近邻的方式：蛮力实现 计算待预测样本
2020-09-13 19:11:29
163
原创 算法-机器学习-隐马尔科夫
隐马尔科夫模型定义：是长度为的状态序列：是对应的观测序列：其中：为状态的集合：，为状态的数量； 为观测的集合：，为观测的数量； 为状态转移概率矩阵：，表示在时刻处于状态的条件下时刻转移到的概率； 为观测生成概率矩阵：，表示在时刻除以状态的条件下生成观测的概率； 是初始概率向量：，表示时处于状态的概率隐马尔科夫模型两个假设：任意时刻的状态只依赖于其前一刻的状态，与观测和其他状态无关，即： 任意时刻的观测值值依赖于该时刻的状态，与观测和其他时刻的状态无关，即： ...
2020-09-13 19:00:00
218
原创 算法-机器学习-softmax回归
softmax回归逻辑回归的一般化，适用于分类问题，第类的参数为向量，组成的二维矩阵为本质：将一个维的任意实数向量压缩（映射）成另一个维的实数向量，其中向量中的每个元素取值都介于（0，1）之间。公式损失函数梯度下降法求解损失函数求导参数更新...
2020-09-13 13:50:37
77
原创 模板-Attention
这是苏神写的一段代码，使用了多头自注意力并加入了mask，大家可以借鉴一下from keras.layers import Layerimport keras.backend as Kclass Attention(Layer): """ 多头注意力机制 """ def __init__(self, num_heads, size_per_head, **kwargs): self.num_heads = num_heads se
2020-09-12 16:41:27
166
原创 算法-深度学习-Attention
跟着苏神学习Attention苏神原文： 《Attention is All You Need》浅读（简介+代码）序列编码深度学习做NLP任务：句子分词，词转化为词向量序列，这样每个句子都对应一个矩阵：其中代表第个词的词向量，维度为维，故RNN递归进行 速度慢，无法很好学习到全局结构信息，需双向RNNCNN窗口式遍历 只能获取局部信息，通过层叠增大感受野Attention其中是另外的序列，如果取，则为Self Attention，它的意思是直接将和原来的每个词进行比较
2020-09-12 15:30:19
250
原创 算法-机器学习-逻辑回归
逻辑回归（Logistic Regression）适用于二分类问题公式损失函数损失函数推导1. 假设： 2. 似然函数： 3. 对数似然函数： 4. 求导：
2020-09-11 23:29:21
59
原创 算法-机器学习-线性回归
线性回归（Linear Regression）适用于线性问题公式损失函数损失函数求解最小二乘法求解结果：要求是可逆的为了防止不可逆或过拟合问题，增加额外数据影响梯度下降法1. 初始化（随机初始化，可以初始为0）2. 求导4. 沿着负梯度方向迭代，更新后的使更小为学习率正则项Ridge回归（岭回归）Ridge模型具有较高的准确性、鲁棒性以及稳定性LASSO回归LASSO模型具有较高的求解速度Elasitc Net同
2020-09-11 23:25:39
252
nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
2021-01-27
文本分类-中文垃圾邮件分类.zip
2020-08-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人