BigData_Mining的博客

原创 Docker配置阿里云镜像加速器方法

Docker中国官方镜像加速--registry-mirror=https://registry.docker-cn.com网易163镜像加速--registry-mirror=http://hub-mirror.c.163.com中科大镜像加速--registry-mirror=https://docker.mirrors.ustc.edu.cn阿里云镜像加速--regist...

原创 ubuntu18.04下升级/安装docker到最新（19）版本

关闭dockersudo systemctl stop docker卸载旧版本:sudo apt-get purge docker-ce或sudo apt-get remove docker docker-ce docker-io 安装新版本sudo apt updatesudo apt-get -y install apt-transport-https ca-certifi...

原创 pytorch针对图像数据增强的方法

原创 Pytorch中torch.nn.conv2d和torch.nn.functional.conv2d的区别

在写 PyTorch 代码时，我们会发现在 torch.nn.xxx 和 torch.nn.functional.xxx 中有一些功能重复的操作，比如卷积、激活、池化。这些操作有什么不同？各有什么用处？首先可以观察源码：eg：torch.nn.Conv2dCLASS torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride...

原创 win10下jupyter notebook工作路径的配置

首先需要生成配置文件PS C:\Windows\system32> jupyter lab --generate-configWriting default config to: C:\Users\xiyu\.jupyter\jupyter_notebook_config.py实际上，jupyter notebook 生成的配置文件也是相同。jupyter notebook --g...

原创 Ubuntu18.04使用apt update更新报错：W: 校验数字签名时出错。此仓库未被更新，所以仍然使用此前的索引文件。

W: 校验数字签名时出错。此仓库未被更新，所以仍然使用此前的索引文件。GPG 错误：https://nvidia.github.io/libnvidia-container/ubuntu18.04/amd64 InRelease: 由于没有公钥，无法验证下列签名： NO_PUBKEY 6ED91CA3AC1160CD解决方案：$ sudo apt-key adv --keyserver k...

原创 不同NVIDIA驱动版本所对应的cuda版本

这个是摘自官网不同NVIDIA驱动版本所对应的cuda版本

原创 Ubuntu18.04制作pytorch镜像

写在前面：　　请参考之前的文章安装好CentOS、NVIDIA相关驱动及软件、docker及加速镜像。　　主机运行环境$ uname -aLinux CentOS 3.10.0-514.26.2.el7.x86_64 #1 SMP Tue Jul 4 15:04:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux$ cat /usr/local/cuda...

原创 win10下安装pytorch步骤

步骤：1）首先安装本机支持的cuda和cudnn，去官网下载2）安装anaconda3）更改conda库 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors...

原创 win10下安装最新版Anaconda和conda的常用指令

一直在Ubuntu中使用pytorch，现在切换到Windows系统，使用anaconda搭建环境。1、从https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/下载安装文件：Anaconda3-5.3.1-Windows-x86_64.exe，双击安装。2、更新包管理镜像源：conda config --add channels htt...

原创 pip、conda下如何下载、更新和删除pytorch

今天我们主要汇总如何使用使用ubuntu,CentOS,Mac更新Pytorch和torchvision，以及如何查看当前python版本。本教程只汇集如何使用pip,conda更新以及卸载Pytorch和torchvision，希望对您有所帮助！一、更新Pytorch和torchvision我们主要讲解如何所以pip,conda更新Pytorch和torchvision，这样你就可以使用ub...

原创 Python可视化库matplotlib.pyplot里contour与contourf的区别

contour和contourf都是画三维等高线图的，不同点在于contourf会对等高线间的区域进行填充，区别如下： import numpy as np import matplotlib.pyplot as plt from matplotlib.colors import ListedColormap x=np.array([1,2]) ...

原创 cudnn下载解压后的文件应该放到CUDA文件中的位置

cudnn下载之后不用安装，解压即可。下载解压缩后，将其文件夹下cndnn64_7.dll cudnn.h cudnn.lib分别复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\binC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\include...

原创 Python使用np.c_和np.r_实现数组转换成矩阵

import numpy as npa = np.array([[1,2,3],[11,22,33]])b = np.array([[4,5,6],[44,55,66]])# 数组连接成矩阵c = np.c_[a,b]r = np.r_[a,b]print('-------------按行转换成矩阵-----------------')print(c)print('--------...

原创 Python的 numpy中 meshgrid 和 mgrid 的区别和使用

一、meshgrid函数meshgrid函数通常使用在数据的矢量化上。它适用于生成网格型数据，可以接受两个一维数组生成两个二维矩阵，对应两个数组中所有的(x,y)对。示例展示：由上面的示例展示可以看出，meshgrid的作用是：根据传入的两个一维数组参数生成两个数组元素的列表。如果第一个参数是xarray，维度是xdimesion，第二个参数是yarray，维度是ydimesion。...

原创 Jupyter快捷键

jupyter快捷键（jupyter有两个模式，命令模式和编辑模式）当前cell侧边为蓝色时，表示此时为命令模式，按Enter切换为编辑模式　　当前cell侧边为绿色时，表示此时为编辑模式，按Esc切换为命令模式命令模式快捷键：　　双击D：删除当前cell　　Shift-Enter：运行当前cell并跳转到下一cell　　Alt-Enter：运行当前cell并在下方新建cell　　T...

原创 Docker中配置jupyter，本机可以远程访问

# 启动容器时绑定主机和docker的接口，jupyter服务的默认端口是8888 NV_GPU=0 nvidia-docker run -tid -v /home/code_directory jupyter:/home/code_directory -p 8877:8888 --name jupyter_serverce centos:7.5 /bin/bash # 登录容器...

原创 PyTorch 中的 LSTM模型参数解释

LSTM总共有7个参数：前面3个是必须输入的1：input_size: 输入特征维数，即每一行输入元素的个数。输入是一维向量。如：[1,2,3,4,5,6,7,8,9]，input_size 就是92：hidden_size: 隐藏层状态的维数，即隐藏层节点的个数，这个和单层感知器的结构是类似的。这个维数值是自定义的，根据具体业务需要决定，如下图：input_size：就是输入层，左边蓝色方...

原创 神经网路：pytorch中Variable和view参数解析

在PyTorch中计算图的特点总结如下：autograd根据用户对Variable的操作来构建其计算图。requires_gradvariable默认是不需要被求导的，即requires_grad属性默认为False，如果某一个节点的requires_grad为True，那么所有依赖它的节点requires_grad都为True。volatilevariable的volatile属性默认...

原创 pyecharts地理坐标系只显示南海诸岛问题

官网给的解释如下：自从 0.3.2 开始，为了缩减项目本身的体积以及维持 pyecharts项目的轻量化运行，pyecharts将不再自带地图 js 文件。如用户需要用到地图图表，可自行安装对应的地图文件包。下面介绍如何安装：全球国家地图: echarts-countries-pypkg (1.9MB):世界地图和 213 个国家，包括中国地图。中国省级地图: echarts-china-...

原创 pycharts:cannot import name 'GeoLines' from 'pyecharts' ：解决方案之安装和卸载

很多教程都是0点多版本，1.0教程去官网安装pyecharts 的问题和解决当你pip install pyecharts 安装好了 pyecharts、测试：from pyecharts import Barcannot import name ‘Bar’ from ‘pyecharts’ (F:\anaconda\lib\site-packages\pyecharts_init_.p...

原创 Ubuntu18.04安装Chrome谷歌浏览器和驱动

步骤如下：sudo wget http://www.linuxidc.com/files/repo/google-chrome.list -P /etc/apt/sources.list.d/wget -q -O - https://dl.google.com/linux/linux_signing_key.pub | sudo apt-key add -1sudo apt updat...

原创 echarts4.X安装教程

网上关于Echarts下载和使用的文章太多太多了，但是没有一个能用！！！！！！因为Echarts官网已经不再是原来提供完整版下载的那个页面了！！！！我们先来看一下网上大部分下载教程，让你去官网找到下面这个页面，然后下载 完整版！！！但是，醒醒吧！！！！时代在变换，最新的Echarts下载页面已经变成了下面这样：从上面这个页面，你根本找不到什么完整版！！！！！ 可供下载的全是源码，但是我找了...

原创 plt.scatter()函数解析

scatter(x, y, s=None, c=None, marker=None, cmap=None, norm=None, vmin=None, vmax=None, alpha=None, linewidths=None, verts=None, edgecolors=None, hold=None, data=None, **kwargs)matplotlib.pyplot.scat...

原创 matplotlib.pyplot.plot()参数详解

1、plt.plot(x,y,format_string,**kwargs)x轴数据，y轴数据，format_string控制曲线的格式字串format_string 由颜色字符，风格字符，和标记字符例如，下面的每一个都是合法的：plot(x, y) #plot x, y使用默认的线条样式和颜色plot(x, y, ‘bo’) #plot x,y用蓝色圆圈标记plot...

原创 Pandas在读取csv时如何设置列名--常用方法集锦

今天来整理下如何在读CSV的时候正确处理列名。csv文件自带列标题原始数据是有列标的，用excel打开是这样的：import pandas as pddf_example = pd.read_csv(‘Pandas_example_read.csv’)这种方法等同于df_example = pd.read_csv(‘Pandas_example_read.csv’, header=...

原创 docker之java和python编程

Java在容器中运行java代码最简单的方法就是将java编译指令直接写入Dockerfile，然后使用此Dockerfile构建并运行此镜像，即可启动程序。在本地创建一个空目录，在其中创建Dockerfile文件。在Dockerfile中，加入需要执行的Java编译命令，例如:FROM java:7COPY . /usr/src/javaappWORKDIR /usr/src/java...

原创 docker小技巧

创建容器时传入环境变量在实际应用场景中，不论是从安全还是可配置方面去考虑，很多参数是比较适合用环境变量加载进去的，比如数据库的连接信息，时区，还有字体支持等等，在创建容器的时候其实都可以使用-e 指定key/value进行传递环境变量进去。sh-4.2# docker run -itd --name test-env -e TZ='Asia/Shanghai' 172.25.46.9:5001...

原创 Docker中使用matplotlib显示图像

原理简介原理上可以把docker镜像看做一台没配显示器的电脑，程序可以运行，但是没地方显示。而linux目前的主流图像界面服务X11又支持 客户端/服务端（Client/Server）的工作模式只要在容器启动的时候，将 『unix:端口』或『主机名:端口』共享给docker,docker 就可以通过端口找到显示输出的地方，和linux系统共用显示具体操作（显示到本地显示器）1）首先，在主...

原创 玩坏docker笔记(二十三)：容器监控常用指令

Docker 自带的几个监控子命令：ps 、top 、stats功能更强的开源监控工具：sysdig 、Weave Scope 、 cAdvisor 、PrometheusDocker 自带的监控子命令 —psdocker container ps 查看当前运行的容器新版的 Docker 提供了一个新命令 docker container ls，其作用和用法与 docker c...

原创 玩坏docker笔记(二十二)：容器网络calico

0、准备工作Calico 是一个纯三层的虚拟网络方案，Calico 为每个容器分配一个 IP，每个 host 都是 router，把不同 host 的容器连接起来。与 VxLAN 不同的是，Calico 不对数据包做额外封装，不需要 NAT 和端口映射，扩展性和性能都很好。Calico 优势：network policy用户可以动态定义 ACL 规则，控制进出容器的数据包，实现业务需求。...

原创 玩坏docker笔记(二十一)：多主机环境下管理Machine

Docker Machine 创建machine很简单，非常适合多主机环境。最长用的命令是无须登录到machine就能执行docker相关操作。执行远程docker命令需要通过-H指定目标主机的链接字符串，比如：docker -H tcp://192.168.56.105:2376 psdocker-machine env host1 显示访问 host1 需要的所有环境变量：根据提示...

原创 玩坏docker笔记(二十)：创建Machine

创建 MachineMachine 就是运行 docker daemon 的主机。“创建 Machine” 指的就是在 host 上安装和部署 docker。创建第一个 machine： host1创建 machine 要求能够无密码登录远程主机（1）配置无密码登录、确保端口2376是可以访问的、可以正常安装软件。ssh-copy-id 10.12.31.22 #将1号机的ssh k...

原创 玩坏docker笔记(十九)：安装 Docker Machine

先安装docker官方安装docker-machine的文档地址：https://docs.docker.com/machine/install-machine/安装方法很简单，执行如下命令：curl -L https://github.com/docker/machine/releases/download/v0.9.0/docker-machine-`uname -s`-`uname -...

原创 玩坏docker笔记(十八):主机与容器、容器与容器之间数据共享

数据共享容器与host主机之间共享数据Bind mount:直接将共享目录mount到容器Docker managed volume:docker cp也可以通过linux下的cp将数据复制到/var/lib/docker/volumes/xxx容器之间共享数据第一种方式：将共享数据直接mount到多个容器。开启两个容器，只要host主机pv文件夹中有改动，则所有挂载的容器都会改动...

原创 玩坏docker笔记(十七):数据挂载-Docker managed volume

Docker managed volume与bind mount在使用上的最大区别是不需要指定mount源，指明mount point就行。我们通过-v告诉docker需要一个data volume，并将其mount到/usr/local/apache2/htdocs。那么这个data volume在哪呢？这个答案可以从容器的配置信息中找到。Docker inspect c73897找到...

原创 玩坏docker笔记(十六):有状态应用的存储

Data Volumedocker提供了两种类型的volume：bind mount和docker managed volumebind mountbind mount是将host上已经存在的目录或者文件mount到容器通过-t将主机上的文件mount到容器中：docker run -d -p 8080:80 -v ~/htdocs:/usr/local/apache2/htdocs h...

原创 玩坏docker笔记(十五):Docker存储

分层结构使得镜像和容器的创建、共享以及分发变得高效，这些都归功于docker storage driver.正是storage driver实现了多层数据的堆叠并为用户提供一个单一的合并之后的统一视图。默认driver是overlay2,底层的文件系统是extfs。无状态应用：容器没有需要持久化的数据，随时可以从镜像中直接创建。不需要保存数据供以后使用，使用完直接退出，容器删除时存放在容器层中...

原创 玩坏docker笔记(十四):将容器与外部世界连接

容器访问外部世界方法：NAT当前，docker host 是可以访问外网的容器呢？容器也可以访问外网。注意：这里的外网是指容器网络以外的网络环境，并非特指Internet。busybox位于docker0这个私有的bridge网络中（172.17.0.0/16),当busybox从容器向外ping时，数据包是怎么达到baidu.com的呢？这里关键就是NAT，我们查看一下docke...

原创 玩坏docker笔记(十三):容器间通信

Docker DNS Server通过IP访问容器虽然满足了通信需求，但是不够灵活。因为在部署应用之前可能无法确定IP。部署之后在指定要访问的ip会比较麻烦。因此docker daemon实现了一个内嵌的DNS server，使得容器可以直接通过容器名通信。只需在启动时用–name为容器命名就可以了。docker run -it --network=my_net2 --name=bbox1 b...