自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(33)
  • 资源 (10)
  • 收藏
  • 关注

原创 Mac小技巧

好用软件brew 又叫Homebrew,是Mac OSX上的软件包管理工具,能在Mac中方便的安装软件或者卸载软件, 只需要一个命令, 非常方便. brew类似ubuntu系统下的apt和centos下的yum. 官网:http://brew.sh//usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homeb

2016-12-11 13:02:18 538

原创 如何将ThreadLocal传递到子线程

在项目开发的过程中,我们常常会把一些常用的线程上下文信息放到ThreadLocal中(如Spring中的RequestContextHolder),方便在程序中随时调取。但是在使用多线程时父线程中的ThreadLocal通常无法直接传递到子线程中去,容易造成程序bug。 这种情况通常有两种方式将父线程中的ThreadLocal传递到子线程中。 方法一: 最常规的想法是在编写子线程任务时,每次...

2016-12-11 12:42:29 6900

原创 Spring AOP中强制使用CGLIB代理

spring官方文档中关于aop的描述如下:Spring AOP defaults to using standard JDK dynamic proxies for AOP proxies. This enables any interface (or set of interfaces) to be proxied.Spring AOP can also use CGLIB proxies. T

2016-10-09 20:08:16 21239 4

原创 遭遇fastjson的一个坑

最近在开发过程中踩到到了fastjson的一个坑,写出来跟大家分享一下,同时也留个记录。 情况是这样子的,我们中间件是采用fastjson来进行序列化的,我们自己在代码中定义一个Response类用于封装两个系统之间交换的数据,代码简化版大致如下:public class Response<T> { private int status;//用于标志调用状态 private T dat

2016-09-25 17:51:02 6368 1

原创 spring-boot笔记

最近公司在推广使用spring-boot进行项目开发和部署,在学习和使用过程中记录一些笔记,以备需要时查阅。spring-boot启动入口spring-boot启动的入口代码如下所示:@SpringBootApplication@ComponentScan(basePackages = "com.dsz.test")@EnableAutoConfiguration( exclud

2016-09-25 17:06:02 439

原创 Java注解(Annotation)

对于java的注解,在工作和学习过程经常有碰到,也一直在使用。但是很多时候是知其然,不知其所以然!Java注解是什么?一种代码级别的说明,它可以声明在包、类、字段、方法、局部变量、方法参数等的前面,用来对这些元素进行说明,注释。Java 5.0引入新特性作用分类: 编写文档:通过代码里标识的元数据生成文档(生成文档doc文档)代码分析:通过代码里标识的元数据对代码进行分析(使用反射)编译检查

2016-08-24 23:31:06 1210

原创 树莓派(Raspberry Pi)瞎捣鼓

本周入手了新玩具Raspberry Pi 3 model B,利用周末稍微玩了一下,感觉体验还行,可以用来当个小私服来用或者用来当电视盒子娱乐用。 点赞点:支持无线网络和蓝牙哦 吐槽点:貌似没有电源开关按钮,直接把电源线… [TOC]系统安装官方系统下载地址:https://www.raspberrypi.org/downloads/ 可以直接在页面下载官方推荐的NOOBS...

2016-04-17 00:07:48 3162

原创 Git小技巧

Git远程版本回滚方法一:1、新建backup分支 作为备份,以防万一git branch backup2、将本地的backup分支 推送到远程的backupgit push origin backup:backup3、本地仓库彻底回退到xxxxx版本,xxxxx版本之后的commit信息将丢失git reset --hard xxxxx4、删除远程的master分支 (注意master前有个:)

2016-01-21 15:10:16 8079

原创 memcahed安装及测试

安装libeventlibevent 最新的稳定版:wget http://monkey.org/~provos/libevent-1.4.14b-stable.tar.gz tar zxvf libevent-1.4.14b-stable.tar.gzcd libevent-1.4.14b-stable./configure --prefix=/usr/local/libevent/mak

2015-09-29 00:21:27 703

转载 visualvm远程jvm监控方法

最近新上线的Java服务上线一段时间后性能严重下降,希望通过压测排查出问题原因,顺便研究了一下利用JDK自带的visualvm工具监控JVM的运行状况,进行问题排查通过jstatd启动RMI服务配置java安全访问,将如下的代码存为文件 jstatd.all.policy,放到JAVA_HOME/bin中,其内容如下: grant codebase "file:${java.home}/../

2015-09-19 17:55:03 922

原创 mybatis generator使用

mybatis generator的获取方式mybatis generator jar包下载地址: http://repo1.maven.org/maven2/org/mybatis/generator/mybatis-generator-core/官网地址:http://mybatis.org/generator/github托管地址:https://github.com/mybatis/gen

2015-09-19 17:41:01 1074

原创 PLA(Perceptron Learning Algorithm)--机器学习基石笔记

问题:用于解决”是非“问题(二分类问题)难点:能够正确的把数据分开的线有无线多条理论:初始任选一条线,每次进行转动一定角度,逐步进行修正和更新,最终找到一条线能够把所有的点正确分类--知错能改算法算法过程:(1)初始化一条线,遍历所有数据,进行分类判定(2)如果找到一个分类错误的数据,则有:     (3)修正过程如下,直到所有点都分类正确算法停止:     算

2015-03-06 19:07:01 1783

原创 机器学习问题分类--机器学习基石笔记

机器学习问题根据不同的角度可以分成不同的类型,以下是课程中提到的类型划分,这对机器学习方向的整体把握和问题定位非常有帮助。    1、根据不同的结果输出空间(Out Space),可以将机器学习问题分为:二分类(binary Classification)问题多分类(Multiclass Classification)问题回归分析问题(regression)结构学习问题:序列标记(

2015-03-06 18:55:29 1990

原创 在CentOS6.5上启动virt-manager报错

因为系统的宿主系统被异常关闭了导致了virt-manager报错,错误信息如下:Error starting Virtual Machine Manager: Failed to contact configuration server; some possible causes are that you need to enable TCP/IP networking for ORBit,

2013-12-31 21:38:38 3477

转载 用Highcharts画曲线图的时间轴问题

转载地址:http://blog.yidijimao.net/?p=388

2013-12-10 11:53:14 6014

原创 用Python编写MapReduce的WordCount实例程序

条件,假设hadoop环境和python环境已经安装好,且hadoop已正常启动Hadoop Streaming为python的语言提供了编写MapReduce程序的map和reduce的方法,下面介绍如何用Python编写一个WordCount实例程序。map过程的python源文件wc_map.py:#!/usr/bin/env pythonimport sysfor line

2013-07-15 18:05:01 3728 2

原创 Python下的机器学习工具scikit-learn(学习笔记3--数据预处理)

(1)数据标准化(Standardization or Mean Removal and Variance Scaling)进行标准化缩放的数据均值为0,具有单位方差。scale函数提供一种便捷的标准化转换操作,如下:>>> from sklearn import preprocessing #导入数据预处理包>>> X=[[1.,-1.,2.], [2.,0.,0.]

2013-07-04 11:54:06 9922 1

原创 Python下的机器学习工具scikit-learn(学习笔记4)

啊啥发达股份

2013-07-03 16:38:28 2725

原创 Python下的机器学习工具scikit-learn(学习笔记2--官方实例程序)

本文参考官方网站:http://scikit-learn.org/stable/tutorial/basic/tutorial.htmlscikit-learn工具包自带一些标准数据集(包括iris和digits两个数据集),可以进行测试。(1)首先导入模块数据集:from sklearn import datasetsiris = datasets.load_iris()digi

2013-07-02 11:46:00 8524 1

原创 Python下的机器学习工具scikit-learn(学习笔记1--安装)

软件工具包获取方式:       scikit-learn的官方网站:http://scikit-learn.org (肯能需要科学上网)       github网址:https://github.com/scikit-learn/scikit-learnscikit-learn需要依赖:Python (>= 2.6), NumPy (>= 1.3), SciPy (>= 0.7),

2013-07-02 10:56:16 14263 1

转载 地理信息可视化——Python之matplotlib Basemap简介

在数据可视化过程中,我们常常需要将数据根据其采集的地理位置在地图上显示出来。比如说我们会想要在地图上画出城市,飞机的航线,乃至于军事基地等等。通常来说,一个地理信息系统都会带有这样的功能。今天我们讨论如何在Python上实现,并且使用免费的工具包。 matplotlib是python上常用的一个数据绘制包。它基于numpy(numpy是python用于数组运算的一个包)。matplotli

2013-06-28 12:39:55 16664 2

原创 解决 CentOS 6.4 升级 Python2.7 后 Ibus 输入法无法使用问题

安装完Python2.7之后发现ibus输入发不正常,输入法可以用,但是屏幕右上的输入法图标和选词面板不见了!解决办法如下:/usr/libexec/ibus-ui-gtk/usr/ bin/ibus-setup/usr/libexec/ibus-engine-table将以上三个文件中的  “exec python”  修改为  “exec

2013-06-26 09:45:16 1268

原创 stanford segmenter加入自定义用户词典

用stanford segmenter在命令行的方式下对一个文本文件的句子进行分词处理,其中输入文件为:preprocess-$1.txt,输出文件为:$1_seged.txt,命令如下所示:java -mx1g -cp seg.jar edu.stanford.nlp.ie.crf.CRFClassifier -sighanCorporaDict data -load

2013-03-28 22:11:44 8886 3

转载 情感词生成

我们知道,在情感挖掘中,主要有情感分类(Sentiment Classification)和情感抽取(Opinion Extraction)。对于文档情感分类,一般是构造特征向量来进行分类或是聚类。也有通过计算文档中词的情感分数来获取文档的情感极性,然而这种方法用的不多,效果也不佳。但是对于句子级别的情感挖掘,由于特征少,情感分类效果没有那么理想,而句子的情感往往是由句子中的几个情感词决定。因而获

2013-03-28 21:26:20 5141

转载 情感对象抽取【opinion mining】

观点挖掘与情感分析在近十年得到快速发展,研究也因为应用的需求从最初的情感分类[1,2]发展到现在的各种研究方向如情感对象抽取、情感极性判断、情感持有者抽取、情感主体抽取等[3]。因为产品评论中存在着重要的商业情报(如产品的哪些特征具有什么优缺点,消费者是否喜欢,和其他竞争品比较怎么样),对其进行观点挖掘很有意义。这显然不仅需要抽取观点极性,还需要确定观点的对象。这就涉及到细粒度情感挖掘。对于情感对

2013-03-28 21:01:50 3127

原创 将windows下的GBK编码格式文件转化为Linux下UTF-8编码格式文件

Linux下批量转换文件内容编码:1.使用enca,例如要把当前目录下的所有文件都转成utf-8$enca -x utf-8 *2,使用iconv 转换iconv的命令格式如下:iconv -f encoding -t encoding inputfile比如将一个UTF-8 编码的文件转换成GBK编码iconv -f GBK -t UTF-8 file1

2013-03-14 10:06:14 1277

原创 Stanford Parser 详细使用参考

1、到斯坦福官方网站http://nlp.stanford.edu/software/lex-parser.shtml下载软件包,解压。2、在eclipse中新建一个java project,把解压得到根目录下的stanford-parser.jar和stanford-parser-2.0.4-models.jar(不同版本文件名可能有差异)两个包导入项目到项目引用包中,然后把解压得到根目录下

2012-11-17 23:11:23 7817 2

原创 向HDFS文件append新内容

向hdfs文件增加内容,常见的是把小文件合并成为大文件和在文件末尾新增记录。在hdfs文件末尾新增字符串内容:FileSystem hdfs = FileSystem.get(conf);FSDataOutputStream out;if(!hdfs.exists(fpath))out = hdfs.create(fpath);else out = hdfs.append(fpa

2012-11-07 16:56:50 2931

转载 CRF详解

如果你只是想要简单的如何使用CRF++, 建议阅读 http://blog.csdn.net/Felomeng/article/details/4288492 。这里以一个具体的例子介绍CRF++的一些思想和代码的实现过程。就加入我们想利用CRF++来进行分词。一. 数据及其格式介绍Train.data中 F1 B-NP华 F2 I-NP人 F3 B-NP民 F4

2012-10-13 12:25:24 2694 1

转载 无约束最优化

估计有些读者看到这个题目的时候会觉得很数学,和自然语言处理没什么关系,不过如果你听说过最大熵模型、条件随机场,并且知道它们在自然语言处理中被广泛应用,甚至你明白其核心的参数训练算法中有一种叫LBFGS,那么本文就是对这类用于解无约束优化算法的Quasi-Newton Method的初步介绍。  事实上,这个系列的作者是我的师兄jianzhu,他在中文分词、语言模型方面的研究很深入,如果大家对于

2012-10-13 12:13:50 2058

转载 Why do you Hate CRFs

Why do you Hate CRFs?byBob CarpenterAfter my talk at Columbia, a grad student asked me “Why do you hate CRFs?”.  This is a tough question to answer because of the failed presupposition, which

2012-10-12 14:07:35 796

原创 通过Partition把map的结果输出到到n个不同的reduce

默认的Partition无法满足我们的需求,因此需要自定义partition过程。根据map输出的不同key值,通过partition把map输出的数据输出到numReduceTasks个不同的reduce上去。 public static class Selector extends Partitioner{ @Override public int getPartition(

2012-07-02 16:48:07 881

原创 hbase伪分布式安装

安装环境:centos6.0+jdk1.6.0_29+hadoop1.0.0+hbase0.90.4已经安装好centos6.0+jdk1.6.0_29+hadoop1.0.0环境1.到官方网站下载好hbase-0.90.4.tar.gz解压hbase安装包到一个可用目录(如:/opt)cd /opttar zxvf hbase-0.90.4.tar.gzchown -R ha

2012-03-05 14:24:41 2278

struts2-dojo-plugin-2.3.4.jar

修正struts2的datetimepicker控件中九月后月份显示为乱码现象

2012-10-20

HBase:权威指南(英文版)

HBase:权威指南(英文版)

2012-03-12

hadoop-eclipse-plugin-1.0.0

hadoop1.0.0的eclipse插件,在eclipse3.7 Indigo测试下可用!

2012-02-27

Hadoop官方文档(中文版)

Hadoop 0.18官方文档(中文版)

2011-10-19

Flex从入门到实践

Flex从入门到实践@Flex从入门到实践#Flex从入门到实践

2011-10-16

Data Mining Concepts and Techniques

Data Mining Concepts and Techniques

2011-10-16

hadoop权威指南(中文版)

hadoop权威指南(中文版。全本扫描版),分享给大家!

2011-10-16

虚拟机:系统与进程的通用平台

虚拟机系统与进程的通用平台 虚拟机系统与进程的通用平台

2011-10-16

Hadoop权威指南(第2版)英文版

Hadoop权威指南(第2版)英文版& Hadoop权威指南(第2版)英文版& Hadoop权威指南(第2版)英文版

2011-10-16

计算机等级考试二级C试题

两份全国计算机等级考试二级C的试卷!一份有答案,另一份没有。有兴趣的看看!

2009-03-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除