BigData_Mining的博客

原创 err: exit status 1, out: `Cannot autolaunch D-Bus without X11 $DISPLAY`

错误：Error saving credentials: error storing credentials - err: exit status 1, out: Cannot autolaunch D-Bus without X11 $DISPLAY解决方案：１）卸载已有的docke-composesudo apt-get autoremove --purge docker-compo...

原创 k8s批量删除Evicted Pods

1、查询pod状态[root@k8s_master prom]# kubectl -n kube-system get pods | grep Evictedcoredns-67cb7b5f46-2crxg 0/1 Evicted 0 4h56mcoredns-67cb7b5f46-2ds7n 0/1 ...

原创 harbor坑死你

错误：Mar 25 14:01:14 172.18.0.1 core[35445]: 2020-03-25T06:01:14Z [ERROR] [/common/config/manager.go:118]: loadSystemConfigFromEnv failed, config item, key: clair_db_port, err: strconv.Atoi: parsing “...

原创 docker: Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connectio

使用docker pull从镜像仓库拉取镜像时报错如下：[root@docker-registry ~]# docker pull centosUsing default tag: latestTrying to pull repository docker.io/library/centos ... Get https://registry-1.docker.io/v2/library...

原创 docker批量删除容器、镜像

docker批量删除容器、镜像1、删除所有容器docker rm `docker ps -a -q`2、删除所有镜像docker rmi `docker images -q`3、按条件删除镜像没有打标签docker rmi `docker images -q | awk '/^<none>/ { print $3 }'`镜像名包含关键字docker rmi --...

原创 Harbor忘记密码重置密码

Harbor密码重置01. 登入到harbor容器里面的数据库上docker exec -it harbor-db /bin/bash02 . 登入数据库 psql -h postgresql -d postgres -U postgres #这要输入默认密码：root123 。 psql -U postgres -d postgres -h 127.0.0.1 -p 5432 #...

原创 pytorch矩阵相乘matmul,mm

注意：torch.mm和转置（.t())只是适用于2维矩阵，推荐使用torch.matmul(等价于@）多维度数据的转置使用的是transpose或者permute。matmul:只取后两个维度进行相乘。符合broadcast机制的可以相乘。...

原创 pytorch中数据合并与拆分--cat,stack,split,chunk

合并cat要进行cat合并的维度可以不同，但是其余维度必须要相同！stack创建一个新的维度，要stack的两个tensor维度要相同！用处：将两个班级的学生和成绩合并，生成维度含义：2个表格，每个表格32个学生，每个学生考了8门试！拆分split 根据长度拆分split([2,1],dim=0):在第0维度上，拆分为两个部分，第一部分是2个，第二部分数量是1个。chunc...

原创 pytorch中维度扩展和维度交换-expand,repeat，permute,transpose

维度扩展expanda=torch.randn(1,32,1,1)a.expand(4,32,14,14)a.shapetorch.Size([4,32,14,14])expand操作是在将该维度扩展成相应的维度，基于原来数据的基础上，推荐使用!repeara=torch.randn(1,32,1,1)a.repeat(4,32,14,14).shapea.shapeto...

原创 使用conda命令出现错误：段错误 (核心已转储)

(base) ngc_harbor@sdas-data04:~/sh_remote$ conda install -n base -c conda-forge widgetsnbextensionconda install -n py36 -c conda-forge ipywidgetsCollecting package metadata (current_repodata.json): ...

原创 window下cmd运行anaconda的python出错：This Python interpreter is in a conda environment, but the environment

错误:This Python interpreter is in a conda environment, but the environment has not been activated.解决方案：通过确定当前环境来解决，使用终端或Anaconda提示符执行以下步骤：打开cmd直接输入：conda info --envs在显示的环境列表中，当前环境以星号(*)突出显示，然...

原创 Ubuntu如何隐藏登录界面用户

今天在Ubuntu上编译安装了一个mariadb，安装的时候创建了一个mysql用户，结果发现它显示在了登录界面上，让我很不爽，查了一天的资料，都快放弃了最后终于查到了。官方文档上有写如果是系统用户就会隐藏，在/var/lib/AccountsService/users/文件夹下新建一个与用户名相同的文件,在文件中加上[User]SystemAccount=true标记为系统用户重启就可以...

原创 docker19.03＋NVIDIA显卡＋docker: Error response from daemon: could not select device driver "" with c

docker19.03使用NVIDIA显卡前言使用gpu错误：docker: Error response from daemon: could not select device driver “” with ．．．具体解决方案在下面有．2019年7月的docker 19.03已经正式发布了，这次发布对我来说有两大亮点。1，就是docker不需要root权限来启动喝运行了2，就是支持G...

原创 ubuntu下添加新用户（详细教程）

１. 创建用户目录注意：登录到root用户．假如你之前没有设置过root用户，那么你就通过以下命令更改密码：sudo passwd root然后登录root:su root创建新用户：sudo useradd -r -m -s /bin/bash dongyuanxin_2016150127。 #dongyuanxin_2016150127是用户名称在 Ubuntu18.04 ...

原创 Ubuntu下Pytorch, Tensorflow对应的Python、英伟达显卡驱动、CUDA、CUDNN版本与环境信息查看方法+安装老版本pytorch链接

框架的正确运行需要配套固定版本的python、显卡驱动、CUDA、CUDNN，低了不行高了也不行。下面就教你怎么查看各个环境的版本呢，各个框架需要什么版本的运行环境．我的系统为Ubuntu 18.04一、环境查看的方法查看python版本其实命令行进入python就会显示版本;也可以：python --version查看CUDA版本 cat /usr/local/cuda/ve...

原创 三种方法修改docker的默认存储位置

需求：docker容器存放目录磁盘空间满了，转移数据修改Docker默认存储位置解决的具体步骤如下：方法１：1、停止docker服务。 systemctl stop docker; //每个liunx版本的命令不一样。2、创建新的docker目录，执行命令df -h,找一个大的磁盘。我的是放在/home目录下面，我的/home目录大小有900G。 我在 /home目录下面建了/home...

原创 docker解压镜像报错： “no space left on device”问题解决

在paas环境上使用docker加载镜像的时候出现了如下问题第一反应应该是存储镜像的路径磁盘满了docker info查看docker的根路径，可以看到为/opt/docker:查看/opt/docker的磁盘占用率:从上述可知docker的磁盘并没有占用满，怀疑是inode占用满导致的，查看/opt的inode占用率，发现inode用尽删除/opt占用过多的文件或目录即可，本问题...

原创 如何在服务器端开启X Display(本地可操作远程界面）

问题是这样：在服务器上处理一些照片，有时候想直接在服务器上看图。但是服务器是ubuntu server，不带图形界面的。这时候我们使用feh, 或者cv2.imshow()之类的命令就会报错，错误如下：feh ERROR: Can’t open X display. It is running, yeah?解决方法：在服务器端的~/.bashrc文件中应该有export DISPLAY=...

原创 服务器安装teamviewer步骤

下载安装包，官网地址：https://www.teamviewer.cn/cn/download/linux/1.安装命令：sudo dpkg -i teamviewer_12.0.76279_i386.deb如果安装出错，则输入该命令：sudo apt-get install -f再次安装。2.停止相关服务：sudo teamviewer --daemon stop配置文件...

原创 Ubuntu下安装和使用teamviewer

下载到https://www.teamviewer.cn/cn/download/linux/下载相应的linux版本．安装进入你下载的teamviewer的目录下：如果你是32位的系统，那么首先需要执行下面代码：sudo apt-get install libjpeg62:i386 libxinerama1:i386 libxrandr2:i386 libxtst6:i386 ca-...

原创 国内安装Docker CE和docker compose及卸载docker＋配置阿里云的docker镜像加速

安装的系统为ubuntu18.04Docker CE安装替换为国内的源,修改文件/etc/apt/source.list使用阿里云的源，替换为#阿里源 deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ ...

原创 matplotlib画图教程－标签上带图例

matplotlib画图实例用于设置线型图中线条颜色的常用参数如下。(1)b:指定绘制的线条颜色为蓝色。(2)g:指定绘制的线条颜色为绿色。(3)r:指定绘制的线条颜色为红色。(4)“c”:指定绘制的线条颜色为蓝绿色。(5)m:指定绘制的线条颜色为洋红色。(6)y:指定 绘制的线条颜色为黄色。(7)k:指定 绘制的线条颜色为黑色。(8)w:指定 绘制的线条颜色为白色。用于设置线...

原创 pytorch中的数学基础之复合函数求导数

原创 win10安装报错：VMware Player与Device/Credential Guard不兼容

拟解决方案:Credential Guard 或 Device Guard 是微软在最新版本的Windows10中引入的基于Hyper-V虚拟化容器的安全机制，也就是把系统内核放进一个隔离容器里面运行以提高安全性，而我们已经知道Hyper-V与VMware是无法共存的。而解决方法就是禁用 Credential Guard 或 Device Guard 。VMware在该页面中给出了指向微软官...

原创 Win10卸载原有CUDA+安装新CUDA+cudnn

控制面板–程序–卸载除了这2个，NVIDIA图形处理程序，NVIDIA physX系统软件之外，把其它的都删掉。卸载完后，你会发现电脑—开始—所有程序，里面那个关于NVIDIA的程序文件不见了存在的话，也可以看看里面还剩下什么，可以搜索看看当然，C盘里面C:\Program Files\NVIDIA GPU Computing Toolkit文件也可以删除了用杀毒软件垃圾扫描下，清理下...

原创 window10下载CUDA注意事项和如何下载旧版本CUDA

首先你要知道你的电脑显卡能支持的cuda最大版本：如下下图所示，支持最大版本为cuda10.1.152版本！旧版本CUDA旧版本入口进入这个地址https://developer.nvidia.com/cuda-toolkit-archive点此进入，可以下载旧版本的CUDA...

原创 python笔记之类、enumerate和get用法

类a、b是创建出来的对象，然后调用方法。enumerateget

原创 jupyter notebook笔记

一个全连接ReLU神经网络，一个隐藏层，没有bias。用来从x预测y，使用L2 Loss。- $h = W_1X$- $a = max(0, h)$- $y_{hat} = W_2a$这一实现完全使用numpy来计算前向神经网络，loss，和反向传播。- forward pass- loss- backward pass注意：这种也适用于ｃｓｄｎ的．...

原创 放弃递归神经网络RNN的原因

是时候放弃递归神经网络了！我们曾经很喜欢递归神经网络（RNN）、长短期记忆（LSTM）及它们的所有变体。现在是时候放弃它们了！2014年，LSTM和RNN强势归来。我们都读过Colah的博客和Karpathy对RNN的颂歌。但那时我们都很年轻且没有经验。一直以来，他们都是解决序列学习、序列翻译（seq2seq）的方法，这提高了语音转文本的效果，也造成了Siri、Cortana、Google语...

原创 [NLP]Attention Model（注意力模型）学习总结-讲的非常好

注意力模型：对目标数据进行加权变化。人脑的注意力模型，说到底是一种资源分配模型，在某个特定时刻，你的注意力总是集中在画面中的某个焦点部分，而对其它部分视而不见。 ------（思考：为什么要集中在那个部分，是因为那个部分能解决问题吗？）1. 什么是Attention机制？最近两年，注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任...

原创 使用jupyter notebook运行程序报错：pykernel_launcher.py: error: unrecognized arguments: -f

usage: ipykernel_launcher.py [-h] [--batch_size N] [--cuda] [--dropout DROPOUT] [--emb_dropout EMB_DROPOUT] [--clip CLIP] [--epochs EPOCHS] [-...

原创 PyTorch学习笔记之softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数

1、softmax函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 x 是一个实数的向量(正数或负数都无所谓, 没有限制). 然后, 第i个 Softmax(x) 的组成是输出是一个概率分布: 每个元素都是非负的, 并且所有元素的总和都是1.2、log_soft...

原创 Pytorch中LSTM,GRU参数理解

本文中的RNN泛指LSTM，GRU等等CNN中和RNN中batchSize的默认位置是不同的。 CNN中：batchsize的位置是position 0. RNN中：batchsize的位置是position 1.在RNN中输入数据格式：对于最简单的RNN，我们可以使用两种方式来调用,torch.nn.RNNCell(),它只接受序列中的单步输入，必须显式的传入隐藏状态。t...

原创 python中pandas中的apply和map的区别

作用：apply是一种让函数作用于列或者行操作；applymap是一种让函数作用于DataFrame每一个元素的操作； map是一种让函数作用于Series每一个元素的操作。关于apply：apply是DataFrame数据类型的函数； 当想让方程作用在一维的向量上时，可以使用apply来完成；apply的操作对象DataFrame的一列或者一行数据。 关于applymap：...