linchere的专栏

原创 Softmax回归

在本文中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签  可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，不过后面也会介绍它与深度学习/无监督学习方法的结合。（译者注： MNIST 是一个手写数字识别库，由NYU 的Yan...

原创 [机器学习]广义线性模型

指数分布族如果一类分布可以写成如下的形式，那么它就是属于指数分布族的：P(y;η) = b(y)exp(ηTT(y) - a(η))        (1)这里η叫做分布的自然参数（natural parameter），或者叫标准参数（canonical parameter）；T(y)是充分统计量（ sufficient statistic），对于我们考虑的大多数分布，T(y)=y；然后...

原创 [Tensorflow]构建神经网络完成线性回归分析

本文用tensorflow构建神经网络完成一个简单的例子：线性回归。import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt# 对于线性关系y = x1 + x0，x1和x0都是一维向量input_num = 2output_num = 1# 用16个神经元neurons_num = 16...

原创 [Tensorflow]搭建tensoflow开发环境

Tensorflow简介无需多言，摘抄一段百度百科：TensorFlow™是一个基于数据流编程（dataflow programming）的符号数学系统，被广泛应用于各类机器学习（machine learning）算法的编程实现，其前身是谷歌的神经网络算法库DistBelief [1]  。Tensorflow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值...

原创 极大似然估计和最大后验概率

原创 [数据挖掘]决策树ID3和C45

数据分类数据分类就是建立模型把具有某种共同属性或特征的数据归并在一起，通过其类别的属性或特征来对数据进行区别。这个模型称为分类器，预测分类的（无序，离散）类标号。数据分类通常分为两个过程，学习阶段（模型构建）和分类阶段（预测类标号）。例如下图我们预测客户是否会购买计算机a) 学习过程 b) 分类过程决策树归纳决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取...

原创 [数据挖掘]前言

介绍常用的数据挖掘概念和算法：数据离散化：chimerge算法分类：决策树，贝叶斯分类器算法用Java实现，代码及工程文件算法实现

原创 [数据挖掘]chimerge算法

数据离散化数据离散化的一种常用方法是依据数据的相关性程度进行离散化，最常见的算法就是ChiMerge算法定义chimerge是基于chi-squre的，监督的，自底向上（合并的）一种数据离散化方法。卡方检验 xyz Ax1y1z1aBx2y2z2b xyzN统计AB属性的独立性：1. 分别计算期望频率，例如(A, x)期望频率为a * x / N2. 计算卡方值k = ((x1 - E(A,x))...

原创 [Git]Github代码提交管理流程

如果公司在Github建立了私有服务器，项目进行中需要多人多地协同工作。这时需要一套完整规范的代码提交流程。分享一下我们的经验。第一步建立中央仓库upstream，然后建立fork：Click the Fork button on the original repository and then clone your fork on your local machine.# Clo

原创 [Git]在本地仓库Review远程中央仓库分支的Pull Request

- 在本地, 打开目标 repo 的 .git/config 文件, 找到 `[remote "orgin"]`, 在其下添加或修改一行:`fetch = +refs/pull/*/head:refs/pull/origin/*`- 执行 `git fetch origin` 来获取所有 PR 的 branch- 执行 `git checkout -b pull/origin/` 来 c

原创 [NodeJS]Visual Studio 2017搭建NodeJS的C++插件开发环境

Environment: 1. Win 7 (64-bit)2. Python 2.73. VS 2017 Community4. Git for WindowsBuild NodeJS从Github上下载Nodejs源码git clone https://github.com/nodejs/node进入NodeJS然后编译.\vcbuild.bat nosign DebugVS 开发环境搭建1.

原创 [Py4J]从Pythyon端启动Py4J

实现从python端启动Py4J的server

原创 [Hadoop]配置文件

Hadoop配置文件管理Hadoop的配置文件有很多，主要由以下几个：在早期的版本中这些文件位于hadoop/conf下面，hadoop0.20.2的版本中，这些文件在hadoop/etc/hadoop/下面。Hadoop的master和slave节点，均可以采用想吐的配置文件，可以通过rsync工具或基于shell的其他工具。所有这些文件分为两类：1. shell

转载 [Python]xml.etree.ElementTree处理xml文档

本文转自：http://blog.csdn.net/wklken/article/details/7603071需求：在实际应用中，需要对xml配置文件进行实时修改，  1.增加、删除 某些节点 2.增加，删除，修改某个节点下的某些属性 3.增加，删除，修改某些节点的文本xml源文件格式[例][html] view

转载 [DB2]错误"Requesting too many semaphores" 解决办法

登录数据库时报错："Requesting too many semaphores"1. 首先清除db2diag.log，然后重新登录重现问题。2. ipcs -l 检查semaphores的大小限制------ Shared Memory Limits --------max number of segments = 4096max seg size (kbytes)

原创 [SQL]DB2数据库操作常见错误代码及分析

格式说明：ErrorCode:-302 SQLState:22001------------------------------------------- 000 00000 SQL语句成功完成01xxx SQL语句成功完成，但是有警告+012 01545 未限定的列名被解释为一个有相互联系的引用+098 01568 动态SQL语句用分号结束+100 02000 没有找到满

转载 [Linux]后台运行进程的方法

转自http://blog.csdn.net/shahongzhou/article/details/25706315一、为什么要使程序在后台执行我们计算的程序都是周期很长的，通常要几个小时甚至一个星期。我们用的环境是用putty远程连接到日本Linux服务器。所以使程序在后台跑有以下三个好处：1：我们这边是否关机不影响日本那边的程序运行。（不会像以前那样，我们这网络一断开

原创 [Linux]ssh免密码登陆

最近在学习搭建hadoop，搭建环境的一个步骤就是要设置免密码登陆。这里使用VMWare的两台CentOS虚拟机为例。原理Master要实现无密码公钥认证，连接到服务器Salve1上时，需要在Master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的Slave1上。当Master通过SSH连接Salve1时，Salve1就会生成一个随机数并用Master的公钥对随

原创 [Linux]bashrc和profile的学习

Linux的shell有两种方式：1. login shell: 例如打开一个terminal，然后输入一些命令，退出时shell结束2. non-login shell: 例如运行一个shell脚本，当脚本运行完成，shell结束bashrc用于保存non-login模式环境设置信息，profile用于保存login模式环境设置信息。在linux文件系统中存在着很多bas

原创 Eclipse搭建scala环境(解决“JDT weaving is currently disabled”问题)

随着Apache Spark，scala也成了必学的语言，下面讲一下Eclipse搭建scala开发环境。网上有很多的教程，但是给的scala的地址下载的插件无法开发scala，会出现“JDT weaving is currently disabled”的问题,这是由于使用了错误的Scala地址。Java: jre1.8.0_40Eclipse: 4.4.1http://w

原创 Java运行linux和windows系统命令

在java中运行系统命令的代码：package executiveUnixCmd;import java.io.BufferedReader;import java.io.InputStream;import java.io.InputStreamReader;public class ExecutiveCmd { public static void main(Stri

原创 python 主线程捕获子线程异常

最近，在做一个项目时遇到的了一个问题，主线程无法捕获子线程中抛出的异常。先看一个线程类的定义'''Created on Oct 27, 2015@author: wujz'''import threadingclass runScriptThread(threading.Thread): def __init__(self, funcName, *args):

原创 Linux CentOS搭建Git服务器

简介Git是目前最为流行的版本控制工具和分布式开发的最好用的工具。Github虽然非常方便，但是由于普通用户只能建立public的repository，只有付费用户才能创建private repository。因此，在平时工作中一些无法公开项目只能自己搭建一个Git服务器了。环境配置服务器：Linux CentOS-64虚拟机：VMWare 11.1.0服务器端Git版

原创 python日志管理模块logging学习

Logging基础python的日志管理模块logging是python的核心模块之一。先看一个小例子：import logginglogging.debug('This is debug message')logging.info('This is info message')logging.warning('This is warning message')logging.e

转载 log4j配置日志文件log4j.appender.R.File相对路径方法

方法一、 解决的办法自然是用相对路径代替绝对路径，其实log4j的FileAppender本身就有这样的机制，如：log4j.appender.logfile.File=${WORKDIR}/logs/app.log 其中“${WORKDIR}/”是个变量，会被System Property中的“WORKDIR”的值代替。这样，我们就可以在log4j加载配置文件之前，先用System.setP

转载 Java反射机制

说到反射，相信有过编程经验的人都不会陌生。反射机制让Java变得更加的灵活。反射机制在Java的众多特性中是非常重要的一个。下面就让我们一点一点了解它是怎么一回事。什么是反射在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。

转载 java enum(枚举)使用详解 + 总结

java enum(枚举)使用详解 + 总结    enum 的全称为 enumeration， 是 JDK 1.5  中引入的新特性，存放在 java.lang 包中。    下面是我在使用 enum 过程中的一些经验和总结，主要包括如下内容：1. 原始的接口定义常量2. 语法（定义）3. 遍历、switch 等常用操作4. enum 对象的常用方

原创 [Java Core]Java类的equals方法的实现

Java对equals方法的要求：1. 自反性：x.equals(x) == true2. 对称性：x.equals(y) == y.equals(x)3. 传递性：x.equals(y) == true && y.equals(z) == true   =>    x.equals(z) == true4. 一致性：若x,y均没有发生变化，x.equals(y)的结果不论调用

原创 [Java Core]Java字符串的代码点和代码单元

Java Core的3.6.6有关代码点和代码单元的概念可能让很多同学迷惑，在这里做一点说明。Java char数据类型实际上采用UTF-16编码表示的Unicode的代码单元String str = "你好！";这里str中的第一个代码单元是“你”。通常来讲，基本字符用一个char表示，辅助字符使用一对char表示。所以str实际上是3个代码单元组成。System.o

原创 css hack技巧

针对不同分辨率的浏览器和不同类型的浏览器，通常需要设置不同的css hack来实现，废话不多说，直接上代码/*for moz*/@-moz-document url-prefix(){ /* ok */ @media screen and (min-width: 992px){ } @media screen and (min-width: 1240px){

原创 Python异常管理

Python提供了向java一样的非常丰富的异常类。1、NameError：尝试访问一个未申明的变量>>>  vNameError: name 'v' is not defined2、ZeroDivisionError：除数为0>>> v = 1/0ZeroDivisionError: int division or modulo by zero

原创 ajax+servlet的网站架构

ajax已经成为了一种非常流行的前端提交数据的方法，他相较于jsp最大的优点是能实现页面局部的刷新。这里讲一个简单的ajax+servlet实现简单登录网站的例子。网站代码结构如下图。登录页面代码： Username:

原创 [PyWin]PyWin实现windows下以管理员身份启动cmd

import subprocessimport win32apiimport win32conimport win32guikey_code_table ={'a': 65, 'b': 66, 'c': 67, 'd': 68, 'e': 69,

转载 修改已经提交的commit的message

不小心写错committing message并且已经提交怎么修改呢？Easiest solution (but please read this whole answer before doing this):git rebase -i (这里可以用要改的那次的hash，如果是前一两次也可以用HEAD^或者HEAD^^)In the editor that opens, chan

原创 Python类型和运算--数字

在Python中，数字并不是一个真正的对象类型，而是一组相似类型的分类。不仅包括通常的数字类型（整数和浮点数），黑包括数字表达式，以及高级的数字编程。基本数字常量数字                                常量1234, -24                         整数（无穷大小）1.23, 3.14e10            

原创 Python 学习

2015年已经开始，回想2014年，有许多值得铭记的事情，研究生毕业，开始一份似码农又不全是码农的工作。作为一个完全非CS专业的同学，居然不知不觉的搭上了了这个连奥巴马都注册github的代码统治的时代的班车，大约是定数吧。再无病呻吟就要跑题了，还是言归正传。在上个月SLP-3中（15年个人计划），我写下了掌握一门脚本语言，读完一本介绍该脚本的教程。想想是看Linux shell基础确实太差，

原创 C++句柄类

一直不能理解句柄类究竟有什么作用，尽管看到很多C++书籍中对句柄的使用进行了介绍。直到最近碰到一个问题才让我对句柄类的使用有了较为深入地了解。这个问题简单来说是这样：设想一个类封装了一种数据结构，当我们声明该类的一个指针对象来指向这种数据结构的一块数据时，有两种情况：1. 对数据块进行读取操作，并不改变数据的值2. 对数据块进行改写操作，但要保留原数据块（因为其他地方要使用）

原创 C++赋值与初始化的区别

C++中， 对于简单类型的赋值和初始化的区别基本可以忽略，但当涉及到类或者复杂的数据类型时，问题就变得不那么简单了。class Point{public: Point(int a=0, int b=0):x(a), y(b){}; ~Point(); Point& operator =(const Point &rhs);private: int x; int y;};P