dushenzhi-CSDN博客

原创 Mac小技巧

好用软件brew 又叫Homebrew,是Mac OSX上的软件包管理工具，能在Mac中方便的安装软件或者卸载软件，只需要一个命令，非常方便. brew类似ubuntu系统下的apt和centos下的yum. 官网：http://brew.sh//usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homeb

2016-12-11 13:02:18 546

原创如何将ThreadLocal传递到子线程

在项目开发的过程中，我们常常会把一些常用的线程上下文信息放到ThreadLocal中(如Spring中的RequestContextHolder)，方便在程序中随时调取。但是在使用多线程时父线程中的ThreadLocal通常无法直接传递到子线程中去，容易造成程序bug。这种情况通常有两种方式将父线程中的ThreadLocal传递到子线程中。方法一：最常规的想法是在编写子线程任务时，每次...

2016-12-11 12:42:29 6934

spring官方文档中关于aop的描述如下：Spring AOP defaults to using standard JDK dynamic proxies for AOP proxies. This enables any interface (or set of interfaces) to be proxied.Spring AOP can also use CGLIB proxies. T

2016-10-09 20:08:16 21266 4

原创遭遇fastjson的一个坑

最近在开发过程中踩到到了fastjson的一个坑，写出来跟大家分享一下，同时也留个记录。情况是这样子的，我们中间件是采用fastjson来进行序列化的，我们自己在代码中定义一个Response类用于封装两个系统之间交换的数据，代码简化版大致如下：public class Response<T> { private int status;//用于标志调用状态 private T dat

2016-09-25 17:51:02 6388 1

原创 spring-boot笔记

最近公司在推广使用spring-boot进行项目开发和部署，在学习和使用过程中记录一些笔记，以备需要时查阅。spring-boot启动入口spring-boot启动的入口代码如下所示：@SpringBootApplication@ComponentScan(basePackages = "com.dsz.test")@EnableAutoConfiguration( exclud

2016-09-25 17:06:02 446

原创 Java注解(Annotation)

对于java的注解，在工作和学习过程经常有碰到，也一直在使用。但是很多时候是知其然，不知其所以然！Java注解是什么？一种代码级别的说明，它可以声明在包、类、字段、方法、局部变量、方法参数等的前面，用来对这些元素进行说明，注释。Java 5.0引入新特性作用分类：编写文档：通过代码里标识的元数据生成文档（生成文档doc文档）代码分析：通过代码里标识的元数据对代码进行分析（使用反射）编译检查

2016-08-24 23:31:06 1217

原创树莓派(Raspberry Pi)瞎捣鼓

本周入手了新玩具Raspberry Pi 3 model B，利用周末稍微玩了一下，感觉体验还行，可以用来当个小私服来用或者用来当电视盒子娱乐用。点赞点：支持无线网络和蓝牙哦吐槽点：貌似没有电源开关按钮，直接把电源线… [TOC]系统安装官方系统下载地址：https://www.raspberrypi.org/downloads/ 可以直接在页面下载官方推荐的NOOBS...

2016-04-17 00:07:48 3174

原创 Git小技巧

Git远程版本回滚方法一：1、新建backup分支作为备份，以防万一git branch backup2、将本地的backup分支　推送到远程的backupgit push origin backup:backup3、本地仓库彻底回退到xxxxx版本，xxxxx版本之后的commit信息将丢失git reset --hard xxxxx4、删除远程的master分支 (注意master前有个:)

2016-01-21 15:10:16 8142

原创 memcahed安装及测试

安装libeventlibevent 最新的稳定版:wget http://monkey.org/~provos/libevent-1.4.14b-stable.tar.gz tar zxvf libevent-1.4.14b-stable.tar.gzcd libevent-1.4.14b-stable./configure --prefix=/usr/local/libevent/mak

2015-09-29 00:21:27 709

转载 visualvm远程jvm监控方法

最近新上线的Java服务上线一段时间后性能严重下降，希望通过压测排查出问题原因，顺便研究了一下利用JDK自带的visualvm工具监控JVM的运行状况，进行问题排查通过jstatd启动RMI服务配置java安全访问，将如下的代码存为文件 jstatd.all.policy，放到JAVA_HOME/bin中，其内容如下： grant codebase "file:${java.home}/../

2015-09-19 17:55:03 927

原创 mybatis generator使用

mybatis generator的获取方式mybatis generator jar包下载地址： http://repo1.maven.org/maven2/org/mybatis/generator/mybatis-generator-core/官网地址：http://mybatis.org/generator/github托管地址：https://github.com/mybatis/gen

2015-09-19 17:41:01 1085

原创 PLA(Perceptron Learning Algorithm)--机器学习基石笔记

问题：用于解决”是非“问题（二分类问题）难点：能够正确的把数据分开的线有无线多条理论：初始任选一条线，每次进行转动一定角度，逐步进行修正和更新，最终找到一条线能够把所有的点正确分类--知错能改算法算法过程：（1）初始化一条线，遍历所有数据，进行分类判定（2）如果找到一个分类错误的数据，则有：（3）修正过程如下，直到所有点都分类正确算法停止：算

2015-03-06 19:07:01 1793

原创机器学习问题分类--机器学习基石笔记

机器学习问题根据不同的角度可以分成不同的类型，以下是课程中提到的类型划分，这对机器学习方向的整体把握和问题定位非常有帮助。 1、根据不同的结果输出空间（Out Space），可以将机器学习问题分为：二分类（binary Classification）问题多分类（Multiclass Classification）问题回归分析问题（regression）结构学习问题：序列标记（

2015-03-06 18:55:29 2003

原创在CentOS6.5上启动virt-manager报错

因为系统的宿主系统被异常关闭了导致了virt-manager报错，错误信息如下：Error starting Virtual Machine Manager: Failed to contact configuration server; some possible causes are that you need to enable TCP/IP networking for ORBit,

2013-12-31 21:38:38 3516

转载用Highcharts画曲线图的时间轴问题

转载地址：http://blog.yidijimao.net/?p=388

2013-12-10 11:53:14 6033

原创用Python编写MapReduce的WordCount实例程序

条件，假设hadoop环境和python环境已经安装好，且hadoop已正常启动Hadoop Streaming为python的语言提供了编写MapReduce程序的map和reduce的方法，下面介绍如何用Python编写一个WordCount实例程序。map过程的python源文件wc_map.py:#!/usr/bin/env pythonimport sysfor line

2013-07-15 18:05:01 3763 2

原创 Python下的机器学习工具scikit-learn（学习笔记3--数据预处理）

（1）数据标准化（Standardization or Mean Removal and Variance Scaling）进行标准化缩放的数据均值为0，具有单位方差。scale函数提供一种便捷的标准化转换操作，如下：>>> from sklearn import preprocessing #导入数据预处理包>>> X=[[1.,-1.,2.], [2.,0.,0.]

2013-07-04 11:54:06 9932 1

原创 Python下的机器学习工具scikit-learn（学习笔记4）

啊啥发达股份

2013-07-03 16:38:28 2729

原创 Python下的机器学习工具scikit-learn（学习笔记2--官方实例程序）

本文参考官方网站：http://scikit-learn.org/stable/tutorial/basic/tutorial.htmlscikit-learn工具包自带一些标准数据集（包括iris和digits两个数据集），可以进行测试。（1）首先导入模块数据集：from sklearn import datasetsiris = datasets.load_iris()digi

2013-07-02 11:46:00 8532 1

原创 Python下的机器学习工具scikit-learn（学习笔记1--安装）

软件工具包获取方式： scikit-learn的官方网站：http://scikit-learn.org (肯能需要科学上网) github网址：https://github.com/scikit-learn/scikit-learnscikit-learn需要依赖：Python (>= 2.6), NumPy (>= 1.3), SciPy (>= 0.7),

2013-07-02 10:56:16 14295 1

转载地理信息可视化——Python之matplotlib Basemap简介

在数据可视化过程中，我们常常需要将数据根据其采集的地理位置在地图上显示出来。比如说我们会想要在地图上画出城市，飞机的航线，乃至于军事基地等等。通常来说，一个地理信息系统都会带有这样的功能。今天我们讨论如何在Python上实现，并且使用免费的工具包。 matplotlib是python上常用的一个数据绘制包。它基于numpy(numpy是python用于数组运算的一个包)。matplotli

2013-06-28 12:39:55 16724 2

原创解决 CentOS 6.4 升级 Python2.7 后 Ibus 输入法无法使用问题

安装完Python2.7之后发现ibus输入发不正常，输入法可以用，但是屏幕右上的输入法图标和选词面板不见了！解决办法如下：/usr/libexec/ibus-ui-gtk/usr/ bin/ibus-setup/usr/libexec/ibus-engine-table将以上三个文件中的 “exec python” 修改为 “exec

2013-06-26 09:45:16 1272

原创 stanford segmenter加入自定义用户词典

用stanford segmenter在命令行的方式下对一个文本文件的句子进行分词处理,其中输入文件为：preprocess-$1.txt，输出文件为：$1_seged.txt，命令如下所示：java -mx1g -cp seg.jar edu.stanford.nlp.ie.crf.CRFClassifier -sighanCorporaDict data -load

2013-03-28 22:11:44 8905 3

转载情感词生成

我们知道，在情感挖掘中，主要有情感分类(Sentiment Classification)和情感抽取(Opinion Extraction)。对于文档情感分类，一般是构造特征向量来进行分类或是聚类。也有通过计算文档中词的情感分数来获取文档的情感极性，然而这种方法用的不多，效果也不佳。但是对于句子级别的情感挖掘，由于特征少，情感分类效果没有那么理想，而句子的情感往往是由句子中的几个情感词决定。因而获

2013-03-28 21:26:20 5158

转载情感对象抽取【opinion mining】

观点挖掘与情感分析在近十年得到快速发展，研究也因为应用的需求从最初的情感分类[1,2]发展到现在的各种研究方向如情感对象抽取、情感极性判断、情感持有者抽取、情感主体抽取等[3]。因为产品评论中存在着重要的商业情报（如产品的哪些特征具有什么优缺点，消费者是否喜欢，和其他竞争品比较怎么样），对其进行观点挖掘很有意义。这显然不仅需要抽取观点极性，还需要确定观点的对象。这就涉及到细粒度情感挖掘。对于情感对

2013-03-28 21:01:50 3150

原创将windows下的GBK编码格式文件转化为Linux下UTF-8编码格式文件

Linux下批量转换文件内容编码：1.使用enca,例如要把当前目录下的所有文件都转成utf-8$enca -x utf-8 *2,使用iconv 转换iconv的命令格式如下：iconv -f encoding -t encoding inputfile比如将一个UTF-8 编码的文件转换成GBK编码iconv -f GBK -t UTF-8 file1

2013-03-14 10:06:14 1289

原创 Stanford Parser 详细使用参考

1、到斯坦福官方网站http://nlp.stanford.edu/software/lex-parser.shtml下载软件包，解压。2、在eclipse中新建一个java project，把解压得到根目录下的stanford-parser.jar和stanford-parser-2.0.4-models.jar（不同版本文件名可能有差异）两个包导入项目到项目引用包中，然后把解压得到根目录下

2012-11-17 23:11:23 7837 2

原创向HDFS文件append新内容

向hdfs文件增加内容，常见的是把小文件合并成为大文件和在文件末尾新增记录。在hdfs文件末尾新增字符串内容：FileSystem hdfs = FileSystem.get(conf);FSDataOutputStream out;if(!hdfs.exists(fpath))out = hdfs.create(fpath);else out = hdfs.append(fpa

2012-11-07 16:56:50 2936

转载 CRF详解

如果你只是想要简单的如何使用CRF++，建议阅读 http://blog.csdn.net/Felomeng/article/details/4288492 。这里以一个具体的例子介绍CRF++的一些思想和代码的实现过程。就加入我们想利用CRF++来进行分词。一. 数据及其格式介绍Train.data中 F1 B-NP华 F2 I-NP人 F3 B-NP民 F4

2012-10-13 12:25:24 2720 1

转载无约束最优化

估计有些读者看到这个题目的时候会觉得很数学，和自然语言处理没什么关系，不过如果你听说过最大熵模型、条件随机场，并且知道它们在自然语言处理中被广泛应用，甚至你明白其核心的参数训练算法中有一种叫LBFGS，那么本文就是对这类用于解无约束优化算法的Quasi-Newton Method的初步介绍。　　事实上，这个系列的作者是我的师兄jianzhu，他在中文分词、语言模型方面的研究很深入，如果大家对于

2012-10-13 12:13:50 2072

转载 Why do you Hate CRFs

Why do you Hate CRFs?byBob CarpenterAfter my talk at Columbia, a grad student asked me “Why do you hate CRFs?”. This is a tough question to answer because of the failed presupposition, which

2012-10-12 14:07:35 801

原创通过Partition把map的结果输出到到n个不同的reduce

默认的Partition无法满足我们的需求，因此需要自定义partition过程。根据map输出的不同key值，通过partition把map输出的数据输出到numReduceTasks个不同的reduce上去。 public static class Selector extends Partitioner{ @Override public int getPartition(

2012-07-02 16:48:07 885

原创 hbase伪分布式安装

安装环境：centos6.0+jdk1.6.0_29+hadoop1.0.0+hbase0.90.4已经安装好centos6.0+jdk1.6.0_29+hadoop1.0.0环境1.到官方网站下载好hbase-0.90.4.tar.gz解压hbase安装包到一个可用目录（如：/opt）cd /opttar zxvf hbase-0.90.4.tar.gzchown -R ha

2012-03-05 14:24:41 2349