大学之道，在明明德

1.如何在linux下通过import来导入自定义的模块2.关于os.path的使用

关于模型保存的一点心得saver = tf.train.Saver(max_to_keep=3)在定义 saver 的时候一般会定义最多保存模型的数量，一般来说，如果模型本身很大，我们需要考虑到硬盘大小。如果你需要在当前训练好的模型的基础上进行 fine-tune，那么尽可能多的保存模型，后继 fine-tune 不一定从最好的 ckpt 进行，因为有可能一下子就过拟合了。但是如果保存太多，硬盘也有

最近在使用jupyter notebook,感觉非常舒爽。特别是在本地的浏览器上就可以利用jupyter实现在服务器上编程，更是爽歪歪了。关于如何实现本地浏览器上进行服务器上编程参照了这篇文章：Ubuntu环境下Anaconda安装TensorFlow并配置Jupyter远程访问.另外，亲测发现ipython运行速度比使用pycharm快（这是为什么呢？）***

下面代码是我总结的针对二分类问题的预测结果分析工具函数。 代码中有详细的文档说明。所以可以直接看代码。# -*- coding:utf-8 -*-from __future__ import print_functionfrom __future__ import divisionimport numpy as npimport pandas as pdimport matplotlib.p

LR(Logistic Regression) & XGBOOST 在 CRT中的应用此文将持续更新，欢迎指导交流~立志要成为一位优秀炼丹师的我搞起 CRT 来突然压力山大。数据是最最主要的原因，而且毕竟调得少，慢慢攒点经验吧。在 CRT 中，最大的两个问题就是： - 数据不均衡。在投放的大量广告中真正转化的样本数量很少。 - 数据稀疏。每个样本的特征信息都不太全。LR 和 X

XGBOOST + LR (XGBOOST grid search)先留个广告，最近做一个数据挖掘的比赛，主要用的就是 xgboost，等比赛完后年前好好整理代码开源，到时候代码会比下面整份完整。XGBOOST + LR 是 CTR 常用的一种方式。下面是实现 XGBOOST + LR 的代码，具体的原理不做细说。有了下面的代码框架，你可以对 xgboost 进行参数优化搜索，同时可以利用

SVG 简介在 Sketch（草图）研究中，我们经常会遇到 SVG 格式的图像文件。和 PNG 不同，SVG是一种矢量图，它可以保存草图绘图过程中每个笔画的坐标信息。所以，理解 SVG 对于研究草图是很有意义的。PNG 实际上是像素点，是一个矩阵，比如 RGB 三通道的 224 * 224 像素的一张 PNG 图片，就是一个 224 * 224 * 3 的实数矩阵。但是 SVG 则是一门编

关于 tensorboard 的一点心得1.一定要学会使用 tf.variable_scope() 和 tf.name_scope(),否则稍微复杂一点的网络都会乱七八糟。你可以通过上图中的 graph 来看看自己构建的网络结构。2.使用 tensorboard 来看 training 和 validation 的 loss 和 accuracy 变化对于调参非常非常有帮助。经验足的炼丹选手通过

本文来探索一下python中提供的各种数据保存格式的性能如何。主要以一个 ndarray 格式的数据进行处理分析。包括下面几种方式：.bin格式, tofile() 和 fromfile().npy格式，save() 和 load().txt 或者 .csv格式，savetxt() 和 loadtxt().h5 文件.pkl 文件import numpy as npfrom __fut

最近在看word2vec的使用，看的是下面这个教程：中英文维基百科语料上的Word2Vec实验。opencc介绍opencc是一款非常实用的繁简体字转换工具，转换速度非常快而且效果非常好。看了教程上面的各种安装方式介绍，最后才发现其实直接使用apt-get命令安装就能正常使用了。opencc安装与使用" 一行命令搞定安装 "sudo apt-get install opencc" 一行命令使用 "

输入：a是m×n的系数矩阵，b是m×1的（列）向量。 输出：方程组的通解。用高斯消元法（行化简法）解线性方程组步骤1.构造方程组的增广矩阵2.从最左边列往右，使用行化简算法把增广矩阵化为阶梯形，确定矩阵是否有解： 若最后一列为主元列（最后一行非零行形如 [0 0 0 5]），无解，返回无解。3.继续行化简，把主元上面的所有的元素都化为0，把主元位置变成1.4.把每个主元列对应的变量表示

PCA的Python实现pca讲解：http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020209.htmlpython实现：http://blog.csdn.net/u012162613/article/details/42177327 """总的代码.Func: 对原始的特征矩阵进行降维, lowDataMat为降维之后返回新的特

numpy提供了ndarray和matrix两种类型的数据，为我们进行科学运算提供了非常便捷的运算工具。相对来说，我觉得其实还是MATLAB对于矩阵运算的支持更加直观易操作，但是作为Python使用者，怎能不把numpy用熟用透呢。在numpy中，同样一种操作可能提供了很多种不同的方式，具体怎么来实现完全是使用者个人习惯。对于和我一样的菜鸟，我觉得最好是从一开始就养成较好的操作习惯。numpy的二维

@creat_data: 2017-05-01 @author: huangyongye前言： 相信有不少人和我一样，最开始学习 python 就是为了写个爬虫脚本从网上抓数据。第一次从网页上抓取信息的感觉很爽。那时候用得最多的莫过于正则表达式，但是很久没用，基本也都忘光了。后来学习了 xpath 神器，简直所向披靡，比正则方便多了。对于文本数据，抓取下来后存在 mongodb 中是个很不错的选择

@creat_data: 2017-05-08 @author: huangyongye 前言: 在进行数据处理的时候，我们经常会用到 pandas 。但是 pandas 本身好像并没有提供多进程的机制。本文将介绍如何来自己实现 pandas (apply 函数)的多进程执行。其中，我们主要借助 joblib 库，这个库为python 提供了一个非常简洁方便的多进程方法。所以，本文将按照下面的

HMM 回顾《统计学习方法》 p.174隐马尔科夫模型（HMM）有三个基本的问题（1）概率计算问题。给定模型 λ=(A,B,Pi)\lambda = (A, B, Pi) 和观测序列 O(o1,o2,...,oT)O(o_1, o_2, ..., o_T),计算在模型 λ\lambda 下观测序列 OO 的概率 P(O|λ)P(O|\lambda)（2）学习问题。已知观测序列 O(o1,o2,.

1.ubuntu下安装gensimrefer to: ubuntu 14.04 安装gensim为了保证安装成功，首先升级一下easy_install工具。sudo easy_install -U setuptools之后使用easy_install进行安装，使用apt-get安装会遇到编码出错，不知为什么，使用easy_install安装成功就行了。sudo easy_install --upgr

整个项目的代码在我的 GitHub 上面: https://github.com/yongyehuang/svg_parser ，直接 download 后可以使用。首先需要安装的一些 python 库：pip install svgwritepip install svgpathtoolspip install wand1. svg 生成 pngrefer: http