2015年06月_hechenghai

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

转载 libsvm-3.12中的 README

Libsvm 是一个简单的，易用的，高效的SVM分类和回归软件。它解决了 C-SVM 分类，nu-SVM 分类，one-class-SVM，epsilon-SVM 回归，nu-SVM 回归（的问题）。它也提供了一个自动的 C-SVM 分类的模型选择工具。本文档解释了 Libsvm 的用法。Libsvm 的获取：http://www.csie.ntu.edu.tw/~cjlin/libs

2015-06-30 20:15:00 990

转载 SVM多类分类方法

SVM多类分类方法的实现根据其指导思想大致有两种：（1）将多类问题分解为一系列SVM可直接求解的两类问题，基于这一系列SVM求解结果得出最终判别结果。(2)通过对前面所述支持向量分类机中的原始最优化问题的适当改变，使得它能同时计算出所有多类分类决策函数，从而“一次性”地实现多类分类。原始问题可以改写为：虽然第(2)种指导思想看起来简单，但由于它的最优化问题求解过程太复杂，计

2015-06-29 22:06:17 2822

转载 libsvm支持向量机回归示例

libsvm支持向量机算法包的基本使用,此处演示的是支持向量回归机import java.io.BufferedReader;import java.io.File;import java.io.FileReader;import java.util.ArrayList;import java.util.List; import libsvm.svm;import libsvm

2015-06-29 21:52:42 5867

转载 eclipse + libsvm-3.12 用SVM实现简单线性分类

0. 下载libsvm压缩包解压到本地目录（from：http://www.csie.ntu.edu.tw/~cjlin/libsvm/index.html） 1. 新建JAVA工程，导入libsvm包及其源码2. 编写测试代码，使用libsvm函数进行分类预测3. 参考贴一、新建JAVA工程，导入libsvm包及其源码。　　1. 新建JAVA工程及主函数main后，右

2015-06-29 21:51:07 1229

论文完成也有一段时间了，用到了支持向量机（Support Vector Machine或SVM）方面的知识，感觉泛化能力比较好，一开始的时候，用了一些神经网络的模型，泛化能力都不是很满意，立即转到支持向量回归（Support Vector Regression或SVR）上，好在大三时候看过这方面的书，马上跑去图书馆借了基本书回来，加上网上的网友也传了几份SVM的论文文章，那时也快要公开答辩了，本来

2015-06-29 21:48:56 16162

转载 Hadoop2.6集群环境虚拟机中搭建网络配置

Hadoop2.6集群环境搭建（HDFS HA+YARN）原来4G内存也能任性一次。准备工作：1、笔记本4G内存，操作系统WIN7 （屌丝的配置）2、工具VMware Workstation3、虚拟机：CentOS6.4共四台虚拟机设置：每台机器：内存512M，硬盘40G，网络适配器：NAT模式选择高级，新生成虚机Mac地址（克隆

2015-06-27 14:37:30 777

转载 ssh-keygen 的详解

为了让两个linux机器之间使用ssh不需要用户名和密码。所以采用了数字签名RSA或者DSA来完成这个操作。模型分析假设 A （192.168.20.59）为客户机器，B（192.168.20.60）为目标机；要达到的目的：A机器ssh登录B机器无需输入密码；加密方式选 rsa|dsa均可以，默认dsassh-keygen -t rsa #使用rsa加密

2015-06-26 18:49:24 428

转载 jps命令使用

jps工具jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。 jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的

2015-06-26 18:27:20 695

转载 bashrc与profile的区别

bashrc与profile的区别要搞清bashrc与profile的区别，首先要弄明白什么是交互式shell和非交互式shell，什么是login shell 和non-login shell。交互式模式就是shell等待你的输入，并且执行你提交的命令。这种模式被称作交互式是因为shell与用户进行交互。这种模式也是大多数用户非常熟悉的：登录、执行一些命令、签退。当你签退后，shell也终止了。

2015-06-26 17:50:01 519

转载 8大经典数据挖掘算法

大概花了将近2个月的时间，自己把18大数据挖掘的经典算法进行了学习并且进行了代码实现，涉及到了决策分类，聚类，链接挖掘，关联挖掘，模式挖掘等等方面。也算是对数据挖掘领域的小小入门了吧。下面就做个小小的总结，后面都是我自己相应算法的博文链接，希望能够帮助大家学习。1.C4.5算法。C4.5算法与ID3算法一样，都是数学分类算法，C4.5算法是ID3算法的一个改进。ID3算法采用信息增益进行决

2015-06-24 21:23:41 21695 1

转载支持向量机通俗导论（理解SVM的三层境界）

支持向量机通俗导论（理解SVM的三层境界）作者：July ；致谢：pluskid、白石、JerryLead。出处：结构之法算法之道blog。前言动笔写这个支持向量机(support vector machine)是费了不少劲和困难的，原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也不好讲

2015-06-24 19:52:44 963

转载一些支持向量机（SVM）的开源代码库的链接及其简介

（1）LIBSVM: http://www.csie.ntu.edu.tw/~cjlin/libsvm/LIBSVM is an integrated software for support vector classification, (C-SVC, nu-SVC), regression (epsilon-SVR, nu-SVR) and distribution

2015-06-23 19:10:04 2520

转载梯度下降方法

这几天在看《统计学习方法》这本书，发现梯度下降法在感知机等机器学习算法中有很重要的应用，所以就特别查了些资料。　　一.介绍梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。二.应用场景 1.给定许多

2015-06-20 16:24:30 838

转载 Hadoop YARN的发展史与详细解析

【编者按】成熟、通用让Hadoop深得大数据玩家喜爱，即使是在YARN出现之前，在流处理框架林立下，Hadoop仍然被众多机构广泛运用在离线处理之上。借鉴于Mesos，MapReduce获得新生，YARN提供了更加优秀的资源管理器，让Storm等流处理框架同样可以运行在Hadoop集群之上；但是别忘记，Hadoop有着远比Mesos成熟的社区。从兴起到唱衰再到兴起，这头搬运大数据的大象已更加成熟、

2015-06-17 16:42:16 421

原创 context.write

今天因为Context.write的一个问题调试了半天，对于hadoop的context.write来讲，必须保证有值写入，不能是null，如果是null会让map输出和reduce的输入不匹配而造成程序运行错误。

2015-06-16 14:48:19 8260

原创 hadoop 的job.setOutputKeyClass和job.setOutputValueClass的几个问题

昨天写了一个mapreduce函数一直有错误，找不到，今天找了一天终于解决了，原来是hadoop 的job.setOutputKeyClass和job.setOutputValueClas设置输出的问题。job.setOutputKeyClass和job.setOutputValueClas在默认情况下是同时设置map阶段和reduce阶段的输出，也就是说只有map和reduce输出是

2015-06-16 11:50:35 7067

转载 MapReduce:详解Shuffle(copy,sort,merge)过程

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里

2015-06-15 15:59:05 417

转载 Call to localhost/127.0.0.1:9000 failed on connection exception:java.net.ConnectException

http://www.360doc.com/content/13/0414/11/10072361_278155612.shtml使用 jps发现NameNode进程没有正确运行，停止服务，重新格式化namenode，hadoop namenode -formatstart-all.shNameNode进程已运行

2015-06-13 21:17:49 6042

转载 Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序

http://blog.chinaunix.net/uid-20577907-id-3613584.html这是Hadoop学习全程记录第2篇，在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序。新说明一下我的开发环境：操作系统：在windows下使用wubi安装了ubuntu 10.10 hadoop版本：hadoop-0.20.2.tar.

2015-06-13 15:26:11 781

转载 hadoop2.5.2eclipse插件编译

最近在搞hadoop，所以编译hadoop-eclipse插件是少不了的！先说下我的编译环境：hadoop: hadoop-2.5.2OS：ubuntu 14.4 64位（虚拟机）eclipse: eclipse-jee-luna-SR1-linux-gtk-x86_64.tar.gz1.下载源码：https://github.com/winghc/hadoop2x-ec

2015-06-13 11:33:15 880

转载 Ubuntu14.04 (x64) 下hadoop2.5.0单节点安装与测试

Ubuntu14.04 (x64) 下hadoop2.5.0单节点安装与测试详情见原文地址：http://jeyzhang.com/173/在Ubuntu14.04(x64)下对hadoop2.5.0源码包进行编译后，就可以进行hadoop的安装与配置了。下面介绍一下如何进行hadoop2.5.0的单节点安装及测试验证，整个过程很简单，不用担心。1. 创建用户组和用户为了便于ha

2015-06-12 15:04:34 518

转载 Ubuntu14.04 (x64) 下hadoop2.5.0的编译

Ubuntu14.04 (x64) 下hadoop2.5.0的编译详情见原文地址：http://jeyzhang.com/154/1. 前言2. 操作系统及版本说明Ubuntu14.04 64位。如果你的操作系统是32位的，可以跳过这篇，因为只有64位的linux系统需要进行hadoop的编译。> 如何查看linux系统的位数1234

2015-06-12 09:59:17 932