cs24k1993的博客

原创 数据结构算法准备的面试题

1，常用七种排序的python实现 https://www.cnblogs.com/zingp/p/6537841.html2，算法面试题–正负交替 https://blog.csdn.net/mingyong_blog/article/details/401831573，二叉搜索树的定义、查找、插入和删除 https://blog.csdn.net/yanxiaolx/artic...

原创 Python准备的面试题

1，python类中函数的调用 https://www.cnblogs.com/devcjq/articles/5964410.html2，python中try/except/else/finally，raise 语句 https://www.cnblogs.com/windlazio/archive/2013/01/24/2874417.html https://www.cnblogs...

原创 机器学习准备的面试题

1， 计算卷积参数数目 https://www.cnblogs.com/hejunlin1992/p/7624807.html http://blog.csdn.net/dcxhun3/article/details/468789992，OneClassSVM——无监督︱异常、离群点检测 一分类 http://blog.csdn.net/sinat_26917383/article/de...

原创 外卖 & 音乐 Web app

原创 Ubuntu安装后修改分辨率

xrandr的方式修改分辨率（在/etc/profile 环境变量最后添加两行）如果第一种方式报错，输入xrand后报错 “xrandr Failed to get size of gamma for output default“参考下面链接修改 xorg.conf 文件：https://www.cnblogs.com/heenhui2016/p/8243103.html...

原创 Linux下caffe的安装

下载caffe并保存到一个目录下（推荐放到 /home 目录）1.安装依赖项：sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler（这一大串是一个命令）sudo apt-get install --no-insta...

原创 Ubuntu安装搜狗输入法

1，更改镜像源，用阿里的源2，安装Fcitx框架，重启电脑后可以看到小企鹅3，安装搜狗输入法（有时候安装不了可能是安装包损坏，去官网重新下载）4，在Input Method中添加搜狗输入法（“Only Current…” 那边取消勾选）...

原创 Ubuntu 镜像源列表

用阿里的源好一些https://www.cnblogs.com/iamhenanese/p/5514111.html

原创 斐讯路由器刷华硕固件后按复位键无反应，无法设置网络

解决办法：1，用网线连接电脑和路由器接口（普通接口：LAN口）2，输入路由器IP地址（192.168.123.1）3，设置路由器，应用设置，然后重启OK

转载 Linux 中 三种操作符的区别

linux中经常会用到将内容输出到某文件当中，只需要在执行命令后面加上>或者>>号即可进入操作。大于号：将一条命令执行结果（标准输出，或者错误输出，本来都要打印到屏幕上面的）重定向其它输出设备（文件，打开文件操作符，或打印机等等）小于号：命令默认从键盘获得的输入，改成从文件，或者其它打开文件以及设备输入“>>” 是追加内容“>” 是覆盖原...

转载 Linux 环境变量中 PATH=$PATH:$HOME/bin是什么意思，冒号“ : ”是什么意思

1，$HOME这个代码是一个环境变量，它代表的是当前登录的用户的主文件夹的意思。（就是家目录的那个）2，$HOME/bin这个代码指的就是主文件夹下的bin子目录，代表的是文件夹的内部子目录。（注意不是根目录的那个）3，PATH=PATH:PATH:PATH:HOME/bin这个代码是设置PATH环境变量，就是设置环境变量用等号，首先:冒号是分割符。记得Windows上面也有PATH环境变...

原创 VMware 安装Ubuntu1404虚拟机 + Hadoop2.6.1 安装过程中遇到的问题

1，安装Ubuntu14.10重启后卡住问题： please remove installation media and close the tray (if any) then press ENTER;解决方案：不要插外设，特别是USB。拔出后重启正常了2，由于分辨率问题，界面显示不全解决办法问题：按钮显示不全，导致继续无法安装Ubuntu。解决方案：使用键盘的ALT和鼠...

原创 VMware 安装Ubuntu1404虚拟机 + Hadoop2.6.1 安装

通过虚拟机来实施模拟集群环境，虽然说是虚机模拟，但是在虚机上的hadoop的集群搭建过程也可以使用在实际的物理节点中，思想是一样的。安装hadoop的准备条件：1，安装VMware WorkStation软件2，在虚拟机上安装linux操作系统3 ，准备三个虚拟机节点其实这一步骤非常简单，如果你已经完成了第2步，此时你已经准备好了第一个虚拟节点，然后在你刚安装好的第一个虚拟机节...

原创 特征工程

1，特征工程之缺失值与离群值处理 2，使用sklearn做单机特征工程及特征工程流程 3，机器学习中，有哪些特征选择的工程方法？ 4，Discover Feature Engineering, How to Engineer Features and How to Get Good at It？ 5，XGBoost参数调优完全指南（附Python代码） 6，XGBoost-Python...

原创 PCA，LDA，SVD的定义与联系

如果不降维，将导致 数据分布在一个极小的区域内。也叫维度灾难。比如说，球的体积是 v 正比于 R^3。在R/2的同心球，体积正比于(R/2)^3。同心小球是全球的体积八分之一。如果是多维球，球的大部分体积 分布在球表面内侧的“很薄”的一层，比如千/万维的话….所以要降维。不降维，高维特征没啥用，比如人脸识别….PCA是无类别信息，不知道样本属于哪个类，用PCA，通常对全体数据操作。PCA的计...

原创 L1，L2正则化的区别

1，L1会趋向于产生少量的特征，而其他不重要的特征都为0，会产生稀疏性，可以用来选择特征，也能一定程度上防止过拟合。而L_2会选择更多的特征，特征值都趋近于0，防止过拟合。Lasso在选择特征时非常有用，而Ridge就只是规则化而已。所以在所有特征中只有少数特征起重要作用的情况下，选择Lasso进行特征选择。而所有特征中大部分特征都能起作用，而且作用很平均，那么使用Ridge会更合适。2，...

转载 Ubuntu 安装 NVIDIA 驱动后无法进入桌面（循环进入登录界面 ）

1，先按以下操作：开机，在 GRUB 选择界面按 E，这时界面变成了一个编辑器。在倒数几行找到 ro quiet splash然后删掉quiet，改成text，接着按F10这时你已进入操作系统（ctrl+alt+F1-F6），输入用户名密码登录。2，然后输入以下代码：sudo add-apt-repository ppa:bumblebee/stablesudo ap...

转载 Ubuntu14.04更改为NVIDIA显卡驱动之后黑屏的问题

今天在Ubuntu更新NVIDIA显卡驱动之后卡在登陆界面就黑屏了，在tty下输入以下命令就可以重新进入桌面。sudo apt-get remove --purge nvidia-* sudo apt-get install ubuntu-desktop sudo rm /etc/X11/xorg.conf 参考：http://blog.csdn.net/zzycsx/article/de

转载 批梯度下降法(Batch Gradient Descent )，小批梯度下降 (Mini-Batch GD)，随机梯度下降 (Stochastic GD)

一、梯度下降法　　在机器学习算法中，对于很多监督学习模型，需要对原始的模型构建损失函数，接下来便是通过优化算法对损失函数进行优化，以便寻找到最优的参数。在求解机器学习参数的优化算法中，使用较多的是基于梯度下降的优化算法(Gradient Descent, GD)。　　梯度下降法有很多优点，其中，在梯度下降法的求解过程中，只需求解损失函数的一阶导数，计算的代价比较小，这使得梯度下降法能在很多

转载 Over-fitting、under-fitting 与 regularization

机器学习中一个重要的话题便是模型的泛化能力，泛化能力强的模型才是好模型，对于训练好的模型，若在训练集表现差，不必说在测试集表现同样会很差，这可能是欠拟合导致；若模型在训练集表现非常好，却在测试集上差强人意，则这便是过拟合导致的，过拟合与欠拟合也可以用 Bias 与 Variance 的角度来解释，欠拟合会导致高 Bias ，过拟合会导致高 Variance ，所以模型需要在 Bias 与 Vari

转载 机器学习中什么是端到端的学习（end-to-end learning）？

相对于深度学习，传统机器学习的流程往往由多个独立的模块组成，比如在一个典型的自然语言处理（Natural Language Processing）问题中，包括分词、词性标注、句法分析、语义分析等多个独立步骤，每个步骤是一个独立的任务，其结果的好坏会影响到下一步骤，从而影响整个训练的结果，这是非端到端的。而深度学习模型在训练过程中，从输入端（输入数据）到输出端会得到一个预测结果，与真实结果相比较会得到

转载 区块链入门教程

区块链（blockchain）是眼下的大热门，新闻媒体大量报道，宣称它将创造未来。可是，简单易懂的入门文章却很少。区块链到底是什么，有何特别之处，很少有解释。 下面，我就来尝试，写一篇最好懂的区块链教程。毕竟它也不是很难的东西，核心概念非常简单，几句话就能说清楚。我希望读完本文，你不仅可以理解区块链，还会明白什么是挖矿、为什么挖矿越来越难等问题。需要说明的是，我并非这方面的专家。虽然

转载 Caffe学习系列(2)：视觉层（Vision Layers)及参数

所有的层都具有的参数，如name, type, bottom, top和transform_param请参看我的前一篇文章：Caffe学习系列(1)：数据层及参数本文只讲解视觉层（Vision Layers)的参数，视觉层包括Convolution, Pooling, Local Response Normalization (LRN), im2col等层。1、Convolution层：

转载 Caffe学习系列(1)：数据层及参数

要运行caffe，需要先创建一个模型（model)，如比较常用的Lenet,Alex等， 而一个模型由多个层（layer）构成，每一层又由许多参数组成。所有的参数都定义在caffe.proto这个文件中。要熟练使用caffe，最重要的就是学会配置文件（prototxt）的编写。层有很多种类型，比如Data,Convolution,Pooling等，层之间的数据流动是以Blobs的方式进行。

原创 Python接口调用已训练好的 caffemodel 测试分类

训练好caffemodel后，需要测试模型分类的正确率，caffe 有 python接口，可以调用已训练好的caffemodel测试分类。 有以下几点需要注意：1， 需要修改 net.prototxt 文件为 deploy.prototxt 文件，方法见我的另一个博客。deploy= '/home/justin/cnn-human/code/deploy.prototxt' #结构文

原创 Caffe中用训练好的模型测试，deploy文件的修改方法

训练好网络模型后，需要在测试集上验证模型分类的正确率，这时，就需要把训练的网络文件net.prototxt修改为deploy.prototxt，然后再进行测试。输入数据层改动如下：name: "SpecNet"layer { name: "spectr" type: "Data" top: "data" top: "label" include { phase

转载 深度学习中如何计算图片数据的均值

图片减去均值后，再进行训练和测试，会提高速度和精度。因此，一般在各种模型中都会有这个操作。那么这个均值怎么来的呢，实际上就是计算所有训练样本的平均值，计算出来后，保存为一个均值文件，在以后的测试中，就可以直接使用这个均值来相减，而不需要对测试图片重新计算。一、二进制格式的均值计算caffe中使用的均值数据格式是binaryproto, 作者为我们提供了一个计算均值的文件compute_

原创 【Caffe安装】ImportError: No module named caffe 的解决方案

1， 在成功编译caffe的源码之后，可以在python环境中使用caffe。在Ubuntu环境下，打开python解释程序，输入import caffe时，可能会出现 ImportError: No module named caffe>>>import caffe Traceback (most recent call last): File "", line 1,

转载 Caffe 中makefile.config 的参数说明

<span style="color:rgb(102,102,102);font-family:Arial, Console, Verdana, 'Courier New';font-size:14px;">转载出处http://blog.csdn.net/jiajunlee</span> [html] view plain copy ## Refer to http://caffe.ber

原创 Linux 命令使用有线网教程

1，输入sudo pppoeconf ，设置账号和密码后，其他的全选yes。2，需要上网时只需输入 sudo pon dsl-provider命令即可上网。3，需要关闭时输入 sudo poff -a 命令，即可关闭上网。

原创 安装CUDA及CAFFE出现的问题及解决办法合集

1，cuda8.0使用nvcc编译程序出现warning:The ‘compute_20’, ‘sm_20’, and ‘sm_21’ architectures are deprecated的解决办法 2，Ubuntu 14.04 关闭桌面3，cuda8.0部署在ubuntu14.04+GTX1080上需要注意的几个问题 4，安装CUDA 出现libEGL.so.1 is not a symbol

转载 Linux 下 cuda 安装教程

1，首先按照NVIDIA document上的规范，完成post-install。http://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#post-installation-actions 2，禁掉 nouveau 开源驱动，通过下面的命令检查是不是成功禁止掉开源驱动，若输入命令后shell没有显示其他内容，...

原创 Linux学习积累__长期更新

1，‘\’：跳脱符号，输入命令时，用‘\’后紧接着Enter键可以不执行已打出的命令，转到下一行继续输入命令。 2，输入命令时要删除，分别是从光标处向前删除指令串([ctrl]+u)及向后删除指令串([ctrl]+k)。 3，脚本程序设计(shell script)。Vim编辑器删除所有内容的命令为:%d 4，echo这个指令来取用变量,但是,变量在被取用时,前面必须要加上钱字号“$”才行，如

原创 Pandas中loc，iloc，ix的区别

总结：loc需要传入的是index的label。iloc需要传入的是index的position（行号）ix优先按label索引，如果找不到label，再按position索引。例如：>>> s = pd.Series(np.nan, index=[49,48,47,46,45, 1, 2, 3, 4, 5])>>> s49 NaN48 NaN47 NaN46 NaN45

转载 Caffe 中 solver.prototxt 和 train_test.prototxt 参数详解

A. solver.prototxt：net:训练预测的网络描述文件，train_test.prototxt test_initialization:取值为true或者false，默认为true，就是刚启动就进行测试，false的话不进行第一次的测试。test_iter:在测试的时候，需要迭代的次数，即test_iter* batchsize（测试集的）&gt;=测试集的大小，测...

转载 Caffe命令及其参数解析

caffe的c++主程序（caffe.cpp)放在根目录下的tools文件夹内, 当然还有一些其它的功能文件，如：convert_imageset.cpp, train_net.cpp, test_net.cpp等也放在这个文件夹内。经过编译后，这些文件都被编译成了可执行文件，放在了 ./build/tools/ 文件夹内。因此我们要执行caffe程序，都需要加 ./build/tools/ 前缀。

转载 Markdown使用技巧总结——字体，颜色，字号，背景，首行缩进等

1，换行： 方法1：连续两个以上空格+回车 方法2：使用html语言换行标签：<br>2，首行缩进两个字符：(每个表示一个空格，连续使用两个即可）  半角的空格。   全角的空格。 3，字体、字号与颜色:   Markdown是一种可以使用普通文本编辑器编写的标记语言，通过类似HTML的标记语法，它可以使普通文本内容具有一定的格式。但是它

转载 Caffe的solverstate的使用

我们在使用caffe训练过程中会生成.caffemodel和.solverstate文件，一个是模型文件，一个是中间状态文件（生成多少个取决于你自己设定的snapshot）。当训练过程中断，你想继续运行数据学习，此时只需要调用.solverstate文件即可。使用方式代码，我使用的是.sh直接运行，配置和官方给的文件train_caffenet.sh差不多，稍微添加点内容就可以了。 ./build

转载 Caffe之solver.prototxt文件参数设置

caffe solver参数意义与设置batchsize:每迭代一次，网络训练图片的数量，例如：如果你的batchsize=256，则你的网络每迭代一次，训练256张图片；则，如果你的总图片张数为1280000张，则要想将你所有的图片通过网络训练一次，则需要1280000/256=5000次迭代。epoch：表示将所有图片在你的网络中训练一次所需要的迭代次数，如上面的例子：5000次；我们称之为

转载 Caffe绘制训练过程的loss和accuracy曲线

在caffe的训练过程中，大家难免想图形化自己的训练数据，以便更好的展示结果。如果自己写代码记录训练过程的数据，那就太麻烦了，caffe中其实已经自带了这样的小工具 caffe-master/tools/extra/parse_log.sh caffe-master/tools/extra/extract_seconds.py和 caffe-master/tools/extra/plot_trai