小小攻城狮

现在做深度学习相关的工作，所以不可避免的要使用到GPU.但是GPU在远程服务器，调试真的很晕。 刚开始的使用2D网络的时候在本地还能调试一下，但是自从使用了3D网络，本地没法调试。只能本地改完代码，上传服务器,再用服务器来跑新的代码，手动加print调试。23333 为了避免再做这么傻的事，要把远程调试的配置记录下来。以后直接用Pycharm调试远程服务器里的docker con...

最近做实验，换了新环境。OSX + Pycharm + Anaconda2 之前在Ubuntu上都是直接在终端中使用pip安装相关的包。但是在OSX中却会遇到一些坑。同时Anaconda2本身自带了很多有用的包，加上conda的包管理，总体来说比pip优秀一些。但是conda安装也会有些坑，这里介绍一些今天安装的经验。conda的安装，这一块就不介绍了，网上有非常多的教程。就是普通命令行下需...

LR介绍Logistic Regression 是一种非线性的回归模型，同时也可以使用逻辑回归模型来作分类任务。Logistic Regression回归模型使用的Sigmoid函数作为假设模型。 hθ(x)=11+e−xhθ(x)=11+e−x h_{\theta}(x) = \frac{1}{1+e^{-x}} 其中 x=∑niθifi,i=1,2...nx=∑inθifi,i=...

K-Means原理初探传统K-Means算法流程K-Means初始化优化K-Means++ 在上节我们提到，k个初始化的质心的位置选择对最后的聚类结果和运行时间都有很大的影响，因此需要选择合适的k个质心。如果仅仅是完全随机的选择，有可能导致算法收敛很慢。K-Means++算法就是对K-Means随机初始化质心的方法的优化。 K-Means++的对于初始化质心的优化策略也很简单，如下： ...

BP神经网络算法（单变量版本）网络结构定义输入变量XmXmX_m,其中m=1,2,3,...,Ninputm=1,2,3,...,Ninputm=1,2,3,...,N_{input}要预测的变量tmtmt_m,其中m=1,2,3,...,Ninputm=1,2,3,...,Ninputm=1,2,3,...,N_{input}设置三层网络结构，前两层为隐藏层，最后一层为输出层 ...

过去一段时间在对python版本的评分卡模型做效率优化。之前的版本已经实现了所有功能但是速度实在太慢。13W的数据量包含130个特征（其中30个连续值）使用原来的版本需要花费将近两小时的时间才能够计算出所有特征值的IV。这个效率实在是。。。。 经过优化，现在可以将时间控制在5s左右。可以说是相当不错了。 接下来小结一下关于python代码方面优化的方法。（算法方面没啥可改的就是简单的统计数）

Nrrd文件简单预处理

VIM剪贴板使用智囊

最近希望使用TextCNN来进行文本分类，还以为很简单。然后去github clone了两个项目。想着先用gensim.word2vec就可以获得很好的效果。结果发现下载下来的代码都是使用google word2vec。gensim.word2vec是基于google word2vec写的，但是gensim.word2vec的功能少一些。它没法统计word2vec的维度，它也无法返回词向量矩阵，更加

网上教程很多，但是折腾了好久才弄好。特此记录一下。

K-Means算法是无监督的聚类算法，它实现起来比较简单，聚类效果也不错，因此应用很广泛。K-Means算法有大量的变体，本文就从最传统的K-Means算法讲起，在其基础上讲述K-Means的优化变体方法。包括初始化优化K-Means++, 距离计算优化elkan K-Means算法和大数据情况下的优化Mini Batch K-Means算法。

由于需要使用深度学习做一些实验，所以需要安装Caffe。 这里主要介绍安装pycaffe 而自己电脑的比较老旧，GPU无法使用。所以需要安装Caffe（CPU）版本。 这里主要记录主要步骤和遇到的一些坑。 由于仅仅安装CPU版本，所以跳过GPU版本的安装。安装所需要的依赖包在root权限下，安装以下内容>> sudo apt-get install libp...

Spark安装教程

Hadoop分布式集群搭建

小伙伴们是不是有时候想在宿舍远程ping自己实验室的主机但是发现网段不对没法ping通？ 按照最近想搭建Hadoop分布式集群，可是自己的主机就一台，那怎么搭建分布式集群呢？ 对了，实验室有不少主机，完全可以用实验室的主机来搭建Hadoop分布式集群嘛。 想法很好，可是如何进行网络连接却成了大问题。由于实验室主机是属于局域网并非公网。而我在宿舍想连接实验室的主机却由于网段不同无法Ping通。

sklearn源码学习入门（不定期更新）

1、PySpark的按照2、Ipython notebook中使用PySpark

Pandas学习笔记同时记录一些小坑

Sckkit-learn学习笔记