u013093426的博客

原创 conda env相关操作命令集

列出所有的环境conda env list# orconda info --envs创建环境conda create -n your_env_name python=3.7删除环境conda remove -n your_env_name --all激活/切换环境conda activate your_env_name退出环境conda deactivate...

原创 基于cloudera搭建大数据集群（docker）记录

1安装docker安装最新稳定版的# step 1: 安装必要的一些系统工具sudo yum install -y yum-utils device-mapper-persistent-data lvm2# Step 2: 添加软件源信息sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# Step 3: 更新并安装Docker-CEsudo

原创 办公电脑恢复安装软件

1 会议类（1）微信PC版：工作沟通（2）腾讯会议：疫情期间的主要会议工具（3）QQ：下载公司内部相关软件2 办公类（1）office：不需解释（2）firefox浏览器：个人认为比较好（3）Flash：自动提示（4）杀毒软件：EDR公司要求（5）360极速浏览器：个人习惯，保存了各种收藏（6）foxmail：管理各类邮箱账号（7）飞书：团队需求3 ...

原创 Linux系统下创建命令启动

linux下.sh的运行文件可以添加到path中进行任意路径启动，添加命令如下：export PATH="/home/你的帐号名字/其他文件夹名字/pycharm-2018.3.3/bin:$PATH"

原创 版本对照表：Tensorflow+Python+GCC+bazel+CUDA+cuDNN

原创 pip3 install --upgrade pip之后无法使用的解决方法

升级后再操作pip3时提示错误：ImportError: cannot import name 'main'sudo vim /usr/bin/pipfrom pip import mainif __name__ == '__main__': sys.exit(main())# 修改为from pip import __main__if __name__ == ...

原创 win10远程登录Linux系统（ubuntu）桌面的方式

近期在项目中接触到intel推出的OpenVINO框架，需要GPU的支撑，由于采购迟迟不到货，只好远程访问其他组的服务器，又因种种原因入坑远程访问图形界面，现将解决方案汇于此，以饷后人。客户端：win10服务端：ubuntu16.04远程服务：VNCServer+mstsc一、Linux服务端的配置（使用putty等工具登入server在命令窗口配置）1、安装xrdpsu...

原创 centos 7下安装opencv遇坑过程

1、安装opencv及contribpip install opencv-pythonpip install opencv-contrib-python2、（手欠）安装open_model_zoo（安装过程依此执行：https://www.jianshu.com/p/edd5b965522a）在https://software.intel.com/en-us/openvino-t...

原创 VMware虚拟机加载共享文件夹所遇问题汇总

1.在/mnt/hgfs路径下不显示共享文件夹，但是vmware-hgfsclient可现实共享文件夹名称mnt缺少共享支持，通常mount -t vmhgfs .host:/enjoy /mnt/hgfs挂载该共享文件夹即可解决在本人遇到此问题时，挂载后使用root用户下输入下面命令才可以查看到共享文件夹及文件sudo vmhgfs-fuse .host:/enjoy /mnt/h...

原创 大数据学习笔记之hadoop架构分析

一、Hadoop架构分析ØHadoop分布式文件系统特点1.按需定制MapReduce2.目标在于多次的文件流读取3.写入成本很高4.高度数据冗余（副本，默认3）5.每个节点不需要RAID-独立磁盘冗余阵列 redundant array of independent disks6.Blocksize较大（128m）7.定制节点的位置感知ØNameNode...

原创 docker使用过程中跳出的错误汇总

1. docker: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?.是由于docker未启动造成的，如果是centos下 yum安装的，那么使用如下命令service docker start...

原创 CentOS 7 安装docker避坑记

环境：CentOS（64bit）内核：3.10.0-957.el7.x86_64安装docker步骤见：https://www.runoob.com/docker/centos-docker-install.html坑1：添加软件源信息时，yum-config-manager报错 File "/bin/yum-config-manager", line 135 exce...

原创 Pycharm快捷键及快捷操作

代码跳转：Ctrl + 左键 代码跳转后回退：ToolBar-左向箭头 代码格式规范化：Ctrl + Alt + L #针对灰色波浪线提示行 pycharm编辑风格默认是vim风格，想要切换回熟悉的windows风格：Tools中勾去Vim Emulator...

原创 opencv的安装、配置及所遇问题（Ubuntu16.04 + OpenCV3.4.2 + Python3.6）

安装opencv对好多首次安装的开发者来说都是一场勇气和运气的较量，同样也是我在安装Ubuntu下安装过的众多软件包中最为波折的一款，在此记录安装过程中出现的各种error。幸运女神眷顾的安装顺序1.安装ubuntu下的依赖项$ sudo apt-get install build-essential$ sudo apt-get install cmake git libgtk2....

原创 TypeError:can't pickle weakref objects

最近在项目需要使用一个新模型训练MNIST，在训练过程中一直报错TypeError:can't pickle weakref objects，百般折腾后发现问题的原因是np.save在处理数据时是以数组（列表）格式保存，对于zip后的tuple数据不兼容（或者需要其他设置，本人没有细究，有大侠了解的请赐教），将zip后的数据转化为list之后，问题解决。...

原创 CNN发展简记

图片来源：https://blog.csdn.net/akadiao/article/details/78624020今晚读到一篇博客，博主用一幅图总结了刘昕博士的《CNN的近期进展与实用技巧》，看到这幅图顿时对CNN众多模型明朗了许多，忍不住盗图一张以兹纪念。随后附上之前实现的各种网络，以便日后复习。AlexNet：https://blog.csdn.net/u01309...

原创 ubuntu错误提示 gcc:error trying to exec 'cclplus': execvp:没有那个文件或目录

每次移植开发环境都会遇到一些 新的系统环境相关的问题，与其斗智斗勇也挺有趣，最近在Ubuntu18上使用pycharm时遇到一个错误提示“gcc:error trying to exec 'cclplus': execvp:没有那个文件或目录”，造成该问题的原因是新环境下没有安装g++或者gcc与g++的版本不匹配，解决的方法是“装”！操作命名如下sudo apt-get install...

原创 tensorflow优化器比较

TensorFlow中提供的Optimizer包括：GradientDescentOptimizer，AdagradOptimizer，AdadeltaOptimizer，MomentumOptimizer ，AdamOptimizer ，FtrlOptimizer ，RMSPropOptimizer本文主要比较这几种优化器在正态分布下的优化效果，由于各个算法都是为解决某一特定问题产生的，因此...

原创 Ubuntu16.04开发环境搭建遇到的各问题及解决方案

使用Linux系统是开发的必然结果，本文旨在汇总在使用ubuntu16.04的过程中遇到的问题及解决方法，由于事隔多时，先贴出参考的链接，待闲暇时补全。本人使用的ubuntu是安装在VMware虚拟机下的，搭建过程大致分如下步骤：安装VMware：https://blog.csdn.net/qq_40950957/article/details/80467513 安装Ubuntu16.0...

转载 Sklearn之datasets

近期想总结下sklearn中的数据集种类，无意中发现以下文章，特转载到自己的sklearn专栏中，方便以后查找。sklearn提供的自带的数据集sklearn 的数据集有好多个种自带的小数据集（packaged dataset）：sklearn.datasets.load_<name> 可在线下载的数据集（Downloaded Dataset）：sklearn.da...

转载 Python的glob模块

通配符是一些特殊符号，主要有星号(*)和问号(?)，用来模糊搜索文件，“*”可以匹配任意个数个符号， “？”可以匹配单个字符。当查找文件夹时，可以使用它来代替一个或多个真正字符；当不知道真正字符或者需要匹配符合一定条件的多个目标文件时，可以使用通配符代替一个或多个真正的字符。英文 “globbing”意为统配，python在模块glob中定义了glob()函数，实现了对目录内容进行匹配的功能，...

原创 LeetCode刷题时遇到的有“名”算法（频繁更新中。。。）

1. 分治法（240.搜索二维矩阵 II）思路：左下角的元素是这一行中最小的元素，同时又是这一列中最大的元素。比较左下角元素和目标： 若左下角元素等于目标，则找到 若左下角元素大于目标，则目标不可能存在于当前矩阵的最后一行，问题规模可以减小为在去掉最后一行的子矩阵中寻找目标 若左下角元素小于目标，则目标不可能存在于当前矩阵的第一列，问题规模可以减小为在去掉第一列的子矩阵中寻找目标...

原创 UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte

报错内容：UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte环境：Ubuntu16.04 + pycharm 2018.3解决方法：open文件时使用‘rb’方式问题分析：数据文件在保存时以二进制形式保存，读取时应以二进制形式读取。原因看似简单，但在写行数较...

原创 Deep Learning with TensorFlow: Linear Regression(代码实现)

Tip：When more than one independent variable is present the process is called mutilple linear regression.Using Jupyter Notebookimport numpy as npimport tensorflow as tfimport matplotlib.patches ...

原创 各类距离汇总（偶尔更新中。。。）

1.曼哈顿距离曼哈顿距离又称马氏距离（Manhattan distance），用以标明两个点上在标准坐标系上的绝对轴距之总和。例如在平面上，坐标（x1,y1）的点P1与坐标（x2,y2）的点P2的曼哈顿距离为：2.欧式距离欧式距离又称欧几里得距离或欧几里得度量（Euclidean Metric），以空间为基准的两点之间最短距离，与之后的切比雪夫距离的差别是，只算在空间下...

原创 爬虫（一）：爬虫原理与数据抓取

1.通用爬虫和聚焦爬虫根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种.通用爬虫通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份聚焦爬虫聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于： 聚焦爬虫在实施网页抓取时会对内容进行处...

转载 转载--我的AI转型之路与AI之我见（非985211的奋斗路程与视角）

前言我是一名传统网页（PHP+ruby）和应用开发（Android）转型AI相关开发的码农。在非985211高校出身的情况下，我前期自己买书学习，到现在考研上课全身心的投入智能系统的开发当中来，在算法当中理解了数据和模型，对一些基本问题的解决和现在社会上的环境风气有自己的看法，在这里不吐不快，和大家分享一下。对于人工智能的入门和基础理解我有一篇综述的博客文章，手把手的入门机器学习的”H...

原创 触发字检测

本文是基于吴恩达老师《深度学习》第五课第三周练习题所做。0.背景介绍在达叔的教程中，我们已经了解了触发字检测的作用是在听到“触发字”时唤醒设备，本文的主要目的就是实现对“触发字”的检测，本例以“Activate”作为触发字。本例所需的第三方库、数据集及辅助程序，可点击此处下载。import numpy as npfrom pydub import AudioSegmentim...

原创 机器翻译 -- Neural Machine Translation

本文是基于吴恩达老师《深度学习》第五课第三周练习题所做。0.背景介绍 为探究机器翻译的奥秘，我们首先从日期翻译着手。本程序所需的第三方库、数据集及辅助程序，可点击此处下载。from keras.layers import Bidirectional, Concatenate, Permute, Dot, Input, LSTM, Multiplyfrom keras.layers ...

原创 NLP之语义自动匹配emoji

本文是基于吴恩达老师《深度学习》第五课第二周练习题所做。0.背景介绍在发送短信时，通常我们会使用表情符来表达自己此刻的心情，比如 ❤️会代表“love”，但在表情包中选择表情往往需要花费一些时间，本程序将实现自动识别语义随后匹配合适的表情。文本所需的第三方库、数据集及辅助程序，可点击此处下载。import numpy as npfrom emo_utils import *i...

原创 词向量的优化操作

本文是基于吴恩达老师《深度学习》第五课第二周练习题所做。0.背景简介由于词向量的训练需要花费大量的计算，因此本文直接load预先训练好的词向量，在辅助程序中使用read_glove_vecs()函数从glove.6B.50d.txt中导入。def read_glove_vecs(glove_file): with open(glove_file, 'r', encoding ...

原创 刷题：《七月在线》机器学习笔试部分（一）

1. 以下哪种方法属于判别式模型(discriminative model)（D ）A：隐马模型(HMM)；B：朴素贝叶斯；C：LDA；D：支持向量机解：判别式模型（Discriminative Model）是直接对条件概率p(y|x;θ)建模。常见的判别式模型有 线性回归模型、线性判别分析、支持向量机SVM、神经网络等。　　生成式模型（Generative Model）则会对x和...

原创 基于LSTM的爵士乐自动化创作

本文是基于吴恩达老师《深度学习》第五课第一周练习题所做。0.背景简介使用LSTM模型对爵士乐进行学习训练，最终编制出一段具有爵士风格的乐曲。导入所需的第三方库，其中所用辅助程序可点击此处下载。import IPythonimport sysfrom music21 import *import numpy as npfrom grammar import *from q...

原创 恐龙岛--构建字符级语言模型

本文是基于吴恩达《深度学习》第五周第一课后练习题所做。0.背景简介本练习题中，达叔提出了一个有趣的问题，让我们在现有的已知恐龙名称的基础上创造新的恐龙 ，而且如果所创造的新品恐龙和其外貌不相称的话就会被消灭。主要思路是利用现有的恐龙数据集，构建字符级的语言模型来产生新的名字，算法会学习不同的名字特征，然后产生新的名字。通过本练习可以实现如下4个目标：（1）如何使用RNN存储可处...

原创 构建RNN（Recurrent Neural Network）

目前RNN网络可以在深度学习框架下通过调用函数实现（比如：tf.nn.rnn_cell），但为了掌握更多RNN的细节，我们还是需要使用numpy来逐步实现。由于RNN网络具有“记忆力”，因此非常适合NLP和序列任务。RNN网络每次读取一个输入X(t)，输入信息从当前时间步传到下一步的过程中，网络隐含层的激活函数会“记住”一些信息或上下文内容。这种机制允许单向RNN从前面的输入中获取信息以处理后...

原创 神经风格迁移——基于VGG算法

本文是基于吴恩达《深度学习》卷积神经网络第四周习题而做。神经风格迁移的效果是将A图片的某些特征迁移到B图中，使B图具有与之相同的风格，具体的讲解可以观看达叔《深度学习》教程。所需的第三方库如下，其中所用的数据集和辅助程序可点击此处下载。import osimport sysimport scipy.ioimport scipy.miscimport matplotlib.pypl...

原创 吴恩达《深度学习》第五课第三周

序列模型与注意力机制3.1基础模型1.seq2seq模型在法译英句子中，输入的法语有5个元素，输出有6个元素。首先我们需要构建一个编码网络，这是一个典型的RNN的结构（可以是GRU或LSTM）每次只向网络输入一个法语单词，在接收完序列后，RNN会输出一个向量来代表输入序列X&lt;1&gt;到X&lt;5&gt;。然后构建解码网络，以编码网络的输出作为输入，每次输出...

原创 人脸识别——基于CNN的模型实现

本文是基于吴恩达《深度学习》卷积神经网络第四周习题而做。通常人脸识别问题分为两类：人脸验证和人脸识别，人脸验证可以作为人脸识别的前提，具体的讲解可以观看达叔《深度学习》教程，在此默认大家对人脸识别问题已有了解。所需的第三方库如下，其中所用的数据集和辅助程序可点击此处下载。from keras.models import Sequentialfrom keras.layers impor...

原创 吴恩达《深度学习》第五课第二周

序列模型——自然语言处理与词嵌入2.1 词汇表征1.通常在序列模型中我们设置词汇表表征一个词汇的集合，对某个具体的单词，使用one-hot形式表示，比如：这样表征虽然思路简单，但是存在一个缺陷：由于任意两个词汇one-hot进行内积所得的结果均为0，因此无法描述词汇之间的某些联系。比如apple和orange都是水果，那么在预测下面两句话时本应该有借鉴作用。2.特征...

原创 win7+IDLE+x64环境安装opencv所遇到的“坑”

在处理图像时，需要使用opencv库，在windows环境下安装常常会遇到各种问题，本人在安装过程中足足折腾了两个周末才最终搞定，为了大家能够避免再次入“坑”，特整理出此文。1.opencv的pip安装pip install opencv-python此步骤的“坑”如下：pip是否已更新 名称是opencv-python，不要忽视 可能需要numpy等其他库的支持，可根据提示...