爱动的蜗牛-CSDN博客

原创 SPMF源码学习与总结——k-means算法

算法源代码下载地址 Algorithm.rar 是用Eclipse调试过的，直接打开用Eclipse打开工程文件即可运行。主方法在ca.pfv.spmf.test包内的MainTestKMeans_saveTiFile.java中，工程文件内还包括所有Spmf实现的聚类、分类、关联规则等相关算法。算法步骤 (1)选择聚类的数量k，及决定生成类别的数量k (2)随机产生k个类，并指定每个类的

2015-10-19 14:43:27 3040

原创 SPMF源码学习与总结——Apriori算法

首先介绍下SPMF，SPMF是一个采用Java开发的开源数据挖掘平台。它提供了51种数据挖掘算法实现，用于： •序列模式挖掘, •关联规则挖掘， •frequent itemset 挖掘, •顺序规则挖掘， •聚类这几天放假研究了下Apriori算法的源代码，把总结写下，好记性不如一个烂笔头，防止以后忘。Apriori算法的主要步骤：数据读取生成频繁1项集如何由频繁K-1项集生成

2015-10-02 21:35:46 4635

转载 java中Comparator的用法(转载)

在java中，如果要对集合对象或数组对象进行排序，需要实现Comparator接口以达到我们想要的目标。例子1：package com.ljq.entity;/** * 运号单流程 * * @author Administrator * */public class Step{ /** 处理时间 */ private String acceptTime = "";

2015-09-28 21:00:20 479

转载 List分类与用法总结

转载 http://blog.sina.com.cn/s/blog_71a536990101b4gb.html1、List中可以添加任何对象，包括自己定义的新的类。class Person{.....}上面定义了一个Person类，下面看好如何使用ListPerson p1=new Person();Person p2=new Person();List list=new Array

2015-09-28 15:24:27 465

转载 Map用法

常用操作说明　　void clear() 　　从此映射中移除所有映射关系（可选操作）。　　boolean containsKey(Object key) 　　如果此映射包含指定键的映射关系，则返回 true。　　boolean containsValue(Object value) 　　如果此映射将一个或多个键映射到指定值，则返回 true。　　Set

2015-09-28 14:32:18 275

原创 getResource()与decode()

1.getResource() 通过利用类装载器（CLassLodaer），查找特定名称的资源文件。查找的起点是编译后的类文件的根目录，用eclipse编辑器的话是从bin开始查找，通过与该类文件的相对路径查找资源文件。如果找不到就返回null，找到了就返回路径。package test;import java.io.IOException;import java.io.Unsupport

2015-09-26 22:10:06 444

原创 connect to host **** port 22: Connection refused

今天按照正常启动我的hadoop伪分布式时集群，当运行./start-dfs.sh命令时，namnode启动时报错了：ssh: connect to host hadoop1 port 22: Connection refused查看log文件后发下：2015-09-12 02:38:02,882 INFO org.apache.hadoop.hdfs.server.namenode.NameNod

2015-09-12 19:01:01 2030

原创 Hadoop生产集群搭建

第一次成功搭建完全分布式生产集群，心情有点小激动，做个笔记，记录下过程：采用的是hadoop2.2.0+jdk7+zookeeper3.4.5，运用的工具是VMare11，notepad++，secureCRT 1. 集群规划（默认每个主机都安装了JDK1.7）主机名 IP地址安装软件运行进程 hadoop1 192.168.0.2 Hadoop NameNode+

2015-09-11 21:08:17 487

原创 Linux源码安装python3.2.1 并修改默认脚本文件

1.下载解压。 1.1我用的是windows下载然后用ftp上传到Linux(安装到/home目录下)，当然也可以直接通过 $wget https://www.python.org/ftp/python/3.2.1/Python-3.2.1.tgz命令 1.2这个要有root权限，否则会失败 $ tar -zxvf Python-3.2.1.tgz -C /home/进入解压后的目录

2015-09-08 17:04:51 299

转载 shell syntax error near unexpected token

!/bin/bash if program testecho ‘a:’ read a if [ “$a” = “English” ];then echo “right” else echo “wrong” fi我是按照视频上的程序稍作修改写的shell脚本程序，结果执行时出现“syntax error near unexpected token `then’”，看半天没看出原

2015-09-07 21:45:55 631

原创大数据之yarn体系结构

继续写笔记，清清脑子在Hadoop2.0以后便不再有Tasktacker，也不会有JobTracker，而是以ResourceManger和ApplicationMaster代替，但是要想理清yarn的原理结构还必须从Hadoop1.0的TaskTracker和JobTracker说起。 Hadoop1.0的执行流程（我是搬运工。。。。。这段等我弄懂了再修改）：首先用户程序（

2015-09-06 20:43:48 1616

原创大数据之HDFS构架原理

断断续续看Hadoop已有两个多月，对于HDFS的构架原理，总是没有清晰的脉络，看了无数博客和视频教程，还是雾里看花，写篇博客清清脑子。正常启动hadoop伪分布式的hdfs后，运行jps命令，会出现几个进程名，从这几个进程来理解hdfs的体系结构：从实现文件的分布式存储过程来来大体理解hdfs：假设有1G的文件要存储在PC上，可是很不幸，PC的可用磁盘空间不足，所以一台PC是

2015-09-06 10:48:33 506

原创 hot code replace failed

hot code replace failed用eclipse不到两天，试着把状态从VS2010中调整过来，看Java两个星期了，是时候写个程序了。可是用eclipse在Debug时，特么蹦出错误谷歌之后show找到原因：因为有相同的程序在debug模式下运行，在windows->show view->debug窗口看到：好吧，原来是相同的程序多次debug后并不能自动停止，而且一直

2015-09-01 18:50:42 1067

aidongdewoniu的博客