- 博客(33)
- 收藏
- 关注
RSS订阅原创 容器内安装OpenCV
容器内安装OpenCV1.首先拉取docker合适的tensorflow的镜像，建立容器，进入容器。2.安装OpenCVpip install opencv-python3.python下import cv2出现问题ImportError: libGL.so.1: cannot open shared object file: No such file or directory解决方法：sudo apt updatesudo apt install libgl1-m...
2020-11-02 14:16:45
658
原创 备忘：我常用的matplotlib.pyplot操作
一：import numpy as npfrom scipy.stats import betaimport matplotlib.pyplot as pltfrom scipy import statscolors = [ 'green', 'red', 'orange', 'brown', 'pink', 'gray', ...
2020-05-05 00:49:44
306
原创 备忘：我常用的pandas操作
一：import pandas as pdpd.options.display.max_columns = 20# 建立dataset = pd.read_csv("file.txt", sep=",", header=None, index_col=None, names=["col1", "col2"])dataset = pd.DataFrame({"col1": [1,...
2020-05-05 00:22:50
250
原创 反卷积
可视化CNN网络看到反卷积，很是困惑，发现其实Deconvolution有两种说法：1. Backward Deconvet2. Transposed Convolution一：Backward Deconvnet论文参考：STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET如下图(c) backward 'deconvnet' ...
2020-04-18 17:15:32
338
原创 备忘：区分tensorflow中几种cross_entropy函数
# A logit (also called a score) is a raw unscaled value associated with a class.# 多分类问题 输入标签需要Onehot编码 输出logits向量tf.nn.softmax_cross_entropy_with_logits# 多分类问题 输入标签不必Onehot编码 输出logits向量tf.nn.spar...
2020-03-08 13:47:57
304
原创 jupyter notebook 配置多anaconda/python内核
问题描述：在anaconda创建了虚拟环境my_tensorflow，并且安装了sklearn。进入虚拟环境，可以成功导入sklearn：python>> import sklearn但是，在jupyter notebook 却无法导入，ImportError: No module named 'sklearn.__check_build._check_buil...
2020-03-01 14:06:49
654
原创 multi-class, multi-label, multi-task classfication
1.multi-class, multi-label, multi-task classfication区别 每个标签有几个可能取值 几个标签 2 >2 1 binary classification multi-class classification >1 multi-label classification ...
2020-02-13 13:39:23
255
原创 备忘：Tensorflow计算模型需要训练的参数数目
计算模型需要训练的参数数目：def count_trainable_vars(): total_parameters = 0 for variable in tf.trainable_variables(): variable_parameters = 1 for dim in variable.get_shape(): ...
2019-12-14 14:58:18
334
原创 备忘：tensorflow关于网络权重
一：用xx.npz文件初始化网络使用tensorpack框架的时候，发现官方提供的训练好的权重文件是xx.npz格式的，我想将其某些层的参数用在自己的网络中。import osimport randomimport tensorflow as tfimport numpy as npPRE_IMANET_NPZ = 'XX.npz'def convert_param_n...
2019-12-11 15:13:28
469
原创 备忘：Linux脚本 grep+正则表达式获取文件下满足条件的文件名称
备忘：EVAL_DIR=/a/b# ${EVAL_DIR}： 变量的引用:# [34]: 正则匹配3或4# .: 任意字符# \{1, 2\}: 匹配前面字符至少1次至多2次files=$(ls ${EVAL_DIR} | grep "[34].\{6,\}meta")# for循环for file in $filesdo file_name=${file%.meta*}...
2019-11-07 11:09:11
463
原创 备忘：Tensorflow不同层设置不同学习速率
问题描述：加载部分预训练好的权重到自己的模型上，fine-tune网络的时候，希望已经具有预训练权重的部分学习速率小一些，随机初始化的新添加的层学习速率大一些。方法：用 apply_gradients()函数。代码：import tensorflow as tf# the variables waiting for optimizationx = tf.Variabl...
2019-10-13 13:59:27
761
原创 学习笔记-机器学习-搭建环境-9：搭建环境时候遇到的一些问题和解决方法
问题1：Disk Requirements: At least 20MB more space needed on the /boot filesystem.解决：https://blog.csdn.net/RambleMY/article/details/85004234问题2：File "/usr/bin/yum", line 30 及 File "/usr/libex...
2019-04-13 09:38:11
304
原创 机器学习-搭建环境-3：Linux下nvidia-docker的安装（在容器中使用GPU）
安装Nvida-docker：参考按照官网的指导：https://github.com/NVIDIA/nvidia-dockerIf you arenotusing the officialdocker-cepackage on CentOS/RHEL, use the next section.：# If you have nvidia-docker 1.0 install...
2019-04-12 22:25:31
553
原创 学习笔记：LVM（Logical Volume Manager 逻辑卷管理）
1. LVM：Logical Volume ManagerLVM(Logical Volume Manager)逻辑卷管理是在Linux2.4内核以上实现的磁盘管理技术。LVM的工作原理其实很简单，它就是通过将底层的物理硬盘抽象的封装起来，然后以逻辑卷的方式呈现给上层应用。在传统的磁盘管理机制中，我们的上层应用是直接访问文件系统，从而对底层的物理硬盘进行读取，而在LVM中，其通过对底层的硬...
2019-04-12 18:13:58
552
原创 备忘：解决/boot分区不足的问题
在yum update的时候出现问题，/boot文件系统空间不足：方法一：将/boot挂载到其他位置检查linux服务器的文件系统的磁盘空间占用情况：df -h可以看到/boot被挂载在/dev/sda2上，空间只有190M，已经使用了89%。为了解决Centos的boot空间不足的问题，取消将/boot挂在到sda2上，而是直接使用/boot目录，但是需要将原...
2019-04-09 21:29:43
1078
原创 学习笔记-Raspberry Pi Zero W-6：启动命令和开机启动
一、启动命令：nohup sudo python3 -u /home/pi/DRrobot/DRboot.py > /home/pi/DRrobot/output.py &nohup（no hang up）：该命令可以再你退出账户/关闭终端之后继续运行相应的进程；缺省情况下该作业的所有输出被重定向到一个名为nohup.out的文件中&：后台运行-u：pyth...
2019-03-14 14:51:01
735
原创 机器学习-搭建环境-5：安装CUDA和cuDNN
一、安装CUDA10在计算机上使用CUDA，我们需要如下的基本组件：支持CUDA的GPU 一个CUDA支持的Linux版本和一个gcc编译器和相关工具链 NVIDIA CUDA Toolkit（1）检查是否安装了GPU# 检查是否安装了GPUlspci|grep -i nvidia# 检查tensorflow是否支持GPU$ python>> import...
2018-12-13 19:11:20
442
原创 学习笔记：Anaconda的使用
一、管理环境# 列出现有环境conda env list# 删除环境conda env remove --name env_nameconda clean --packages --tarballs# 创建名为env_name的环境conda create -n env_name python=3.6# 使用environment.yml创建环境conda env cr...
2018-12-12 21:29:44
359
原创 学习笔记：Linux下Docker的使用
目录：一、介绍二、使用镜像三、使用容器四、数据管理一、介绍Docder属于操作系统层面的虚拟化技术。传统虚拟机技术是虚拟出一套硬件后，在其上运行一个完整操作系统，在该系统上再运行所需应用进程；而容器内的应用进程直接运行于宿主的内核，容器内没有自己的内核，而且也没有进行硬件虚拟。因此容器要比传统虚拟机更为轻便。1. 基本概念：镜像（Image）、容器（Container）...
2018-12-12 21:04:15
975
原创 机器学习-搭建环境-4：安装Nvidia驱动
一、安装NVIDIA驱动检查电脑是否配有Nvidia显卡/usr/sbin/lspci | grep -i nvidia安装显卡检测程序ELRepo源安装显卡驱动ELRepo项目(yum源）侧重于硬件相关的包来增强你的经验与企业Linux, 包括文件系统驱动,显卡驱动,网络驱动程序,声音驱动,摄像头和视频驱动程序。 适用于RHEL-7, SL-7 or CentOS-7。...
2018-12-11 20:30:22
894
2
原创 机器学习-搭建环境-7：安装Tensorflow（使用Anaconda）
搜索安装包并选择合适版本：# 搜索当前可用的安装包版本anaconda search -t conda tensorflow# 选择合适版本，查询安装命令anaconda show anaconda/tensorflow-gpu 注意tensorflow的版本要与CUDA匹配，我是CUDA10，下载了tensorflow1.12结果：按照最后一行所示命令进行安装...
2018-12-05 21:30:57
169
原创 机器学习-搭建环境-6：【可选】Linux（CentOS和Ubuntu）安装Anaconda和Jupyter Notebook
一、安装Docker参考：https://blog.csdn.net/RambleMY/article/details/84786799二、安装Anaconda创建并运行容器：$ docker run --runtime=nvidia -it -p 9999:8888 -v /root/myDocker:/share --privileged=true --name my-DL ...
2018-12-05 00:13:56
749
原创 机器学习-搭建环境-2：Linux下Docker的安装（并手动配置 direct-lvm 给 devicemapper）
目录：一、安装Docker二、CentOS/RHEL配置 direct-lvm 给 devicemapper一、安装Docker参考：https://docs.docker.com/install/linux/docker-ce/centos根据官网要求，需要至少maintained的CentOs7版本查看Linux版本：cat /proc/versioncat /...
2018-12-04 22:09:20
617
原创 学习笔记-Raspberry Pi Zero W-5：关于网络配置的一些命令(wpa_cli)
# wpa_cli的使用# 添加一个网络,返回一个数字（例如：5）sudo wpa_cli -i wlan0 add_network# 设置网络5# SSIDsudo wpa_cli -i wlan0 set_network 5 ssid '"YOUR_SSID"'# 密码sudo wpa_cli -i wlan0 set_network 5 psk '"YOUR_PASSWOR...
2018-11-29 17:27:14
699
原创 学习笔记-ESP32_Wifi_Camera：SmartConfig编码规则及解码（以及crc踩坑；附python3代码）
购买了一个带有wifi的摄像头, 没有usb, 没有以太网, 没有蓝牙......如何配置这个摄像头接入家中的wifi?一、代码1.SmartConfigfrom socket import *import timeimport structfrom app.libs.crc8 import Crc8def creat_content(ssid, password_, i...
2018-11-29 17:10:11
2386
原创 机器学习-搭建环境-1：Win10安装Anaconda和Jupyter Notebook
一、安装Anaconda：## 镜像源已经不可用从清华大学开源软件镜像站下载合适版本的Anaconda3速度很快，地址：https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/为Anaconda营造一个相对独立的环境，不选择添加到PATH环境变量中，而应使用Anaconda软件，从“开始”菜单打开“Anaconda Navigator或...
2018-11-24 22:15:24
924
原创 备忘：Python爬虫（urllib.request和BeautifulSoup）
学习urllib.request和beautifulsoup，并从dribbble和behance上爬取了一些图片，记录一下一、urllib.request1. url的构造构造请求的url遇到的主要问题是如何翻页的问题，dribbble网站是下拉到底自动加载下一页，地址栏的url没有变化，如下：但是通过检查，我们可以发现request url里关于page的字段，如下：...
2018-10-06 17:06:06
1863
原创 备忘：Ubuntu忘记密码
1. 重新启动系统，按ESC键进入Boot Menu，选择Advanced options for Ubuntu，按下[Enter]进入，选择recovery mode，注意这时候不要按下回车键。2.按下[e]键进入命令编辑状态，到 Linux/boot/vmlinuz-....... ro recovery nomodeset 所在行，将“ro recovery nomodeset”替换为...
2018-09-15 16:59:51
6811
2
原创 学习笔记-Raspberry Pi Zero W-4：串口（UART）的配置和使用
4.1 开启UART据官方所言（https://www.raspberrypi.org/documentation/configuration/uart.md）：树莓派CPU内部有两个串口，一个PL001 UART和一个Mini UART。Mini UART没有时钟源，必须由内核提供时钟源，而内核频率本身是变化的，导致Mini UART速率不稳，无法正常使用。RPI ZERO W与以往老版本R...
2018-09-10 11:33:31
11303
16
原创 学习笔记-Raspberry Pi Zero W-3：下载安装mysql并使用navicat远程控制
3.1 安装mysql（1）查看是否安装mysql$ dpkg-l|grepmysql（2）对树莓派更新源文件$ sudo apt-get update$ sudo apt-get upgrade（3）安装mysql$ apt-get install mysql-server（4）测试# 无密码登录$ sudo mysql -uroot# 连接数...
2018-08-29 14:42:33
733
原创 学习笔记-Raspberry Pi Zero W-2：Python3下载安装和配置（更换apt-get和pip的镜像源）
2.1 为apt-get更换国内镜像源（1）更改sources.list文件$ sudo nano /etc/apt/sources.list用#注释掉原文件内容，用以下内容取代：deb http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/ stretch main contrib non-free rpideb-src...
2018-08-27 16:34:24
2375
原创 学习笔记-Raspberry Pi Zero W-1：系统安装及SSH和wifi配置（无需显示器）
1.1 准备工作（1）硬件准备：Raspberry Pi Zero W（以下简称RPI），RPI电源线，SD卡，SD卡读卡器，笔记本电脑，无线路由器（电脑和RPI处于同一wifi网络下即可）。（2）软件准备：Raspbrain系统镜像文件，SDFormatter，Win32diskim，PuTTY。1.2 步骤（1）从官网（https://www.raspberrypi.org/d...
2018-07-25 11:58:03
6481
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人