2015年07月_差点儿90后

转载 Maven常用命令

创建Maven的普通java项目： mvn archetype:create -DgroupId=packageName -DartifactId=projectName 创建Maven的Web项目： mvn archetype:create -DgroupId=packageName -DartifactId=webappName -DarchetypeArtifactId=mav

2015-07-31 20:27:06 433

原创在Ubuntu下使用Eclispe连接HDFS时拒绝链接解决方案

一、关闭防火墙 ufw disable 二、把hadoop三个配置文件中涉及到的主机名全部改成ip地址，也即localhost（我这里是ubuntu）改成127.0.0.1

2015-07-20 16:33:20 1051

转载 ubuntu防火墙设置

1、关闭ubuntu的防火墙 ufw disable 开启防火墙 ufw enable2、卸载了iptables apt-get remove iptables 3、关闭ubuntu中的防火墙的其余命令 iptables -P INPUT ACCEPT iptables -P FORWARD ACCEPT iptables -P OUTPUT ACCEPT iptables -F

2015-07-20 16:17:56 505

原创【hadoop】DataNode用jps查看无法启动解决办法

查看DataNode端口没有被其他进程占用，但是依旧用jps查看不了DataNode，此时打开hadoop，访问http://localhost:50070，点击页面中的Namenode logs链接，在logs页面点击hadoop-hadoop-datanode-ubuntu.log 链接，发现日志里面有如下错误： ERROR org.apache.hadoop.hdfs.server.dat

2015-07-20 15:27:39 7744 2

原创【hadoop】DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法

start-all.sh和jps后出现一下问题root@ubuntu:/opt/hadoop-0.20.2/bin# sh start-all.shstarting namenode, logging to /opt/hadoop-0.20.2/bin/../logs/hadoop-root-namenode-ubuntu.outlocalhost: starting datanode, lo

2015-07-20 14:55:24 2943

原创 Hadoop jps出现process information unavailable提示解决办法

启动Hadoop之后，使用jps命令查看当前系统的java进程情况，显示：root@ubuntu:/opt/hadoop-0.20.2/bin# jps68297 NameNode68702 JobTracker60622 -- process information unavailable68911 Jps68845 TaskTracker68610 SecondaryNameNode

2015-07-20 14:45:21 1443

转载推荐系统评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure)

下面简单列举几种常用的推荐系统评测指标：1、准确率与召回率（Precision & Recall）准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。其中精度是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率；召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。一般来说，Precision就是检索出来的条目（比如：文

2015-07-18 16:09:28 1674 1

原创 Java异常与异常处理小记

以上截图均来自慕课网java第三季第一节《Java异常与异常处理》，在这里做一下小记，后面还有一些知识，通过继续观看视频和写代码学习。这一块不再更新。

2015-07-09 14:16:24 588

转载 hadoop shell命令介绍

Hadoop 文件系统shell使用命令介绍，基本上所有的命令与linux命令相差不大，下面为我的hadoop系统文件夹查看命令：hadoop fs -ls /home/hadoop/ drwxr-xr-x - hadoop supergroup 0 2013-11-30 17:51 /home/hadoop/dir drwxr-xr-x - hadoop supe

2015-07-08 21:38:07 1058

转载 hadoop一些基本知识——Mapreduce shuffle和排序

Mapreduce为了确保每个reducer的输入都按键排序。系统执行排序的过程—–将map的输出作为输入传给reducer 称为shuffle。学习shuffle是如何工作的有助于我们理解mapreduce工作机制。shuffle属于hadoop不断被优化和改进的代码库的一部分。从许多方面看，shuffle是mapreduce的“心脏”，是奇迹出现的地方。下面这张图介绍了mapreduce里shu

2015-07-08 21:07:46 1401

转载 hadoop一些基本知识——Hadoop reducer类的阅读

在Hadoop的reducer类中，有3个主要的函数，分别是：setup，clearup，reduce。代码如下： /** * Called once at the start of the task. */ protected void setup(Context context ) throws IOException, Inter

2015-07-08 17:36:50 926

转载 hadoop一些基本知识——Hadoop mapper类的阅读

在Hadoop的mapper类中，有4个主要的函数，分别是：setup，clearup，map，run。代码如下：protected void setup(Context context) throws IOException, InterruptedException {// NOTHING}protected void map(KEYIN key, VALUEIN value,

2015-07-08 17:04:44 1045

转载 hadoop一些基本知识——Mapreduce 整个工作机制图

图二中1：表示待处理数据，比如日志，比如单词计数图二中2：表示map阶段，对他们split，然后送到不同分区图二中3：表示reduce阶段，对这些数据整合处理。图二中4：表示二次mapreduce,这个是mapreduce的链式。这里有个问题：输出的mapreduce结果，需要进入下一个mapreduce，该怎么解决？请看 “让你真正明白什么是MapReduce组合式，迭代式，链式-大

2015-07-07 15:25:27 721

转载 hadoop一些基本知识——Hadoop简介(1):什么是Map/Reduce

Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等.这里详细分解这里面的概念让大家通过这篇文章了解到底是什么hadoop：1.什么是Map/Reduce，看

2015-07-07 15:06:32 2619

转载 hadoop一些基本知识——hadoop HDFS文件系统的特征

hadoop HDFS文件系统的特征（1）存储极大数目的信息（terabytes万亿字节 or petabytes千万亿字节），将数据保存到大量的节点当中。支持很大单个文件。（2）提供数据的高可靠性，单个或者多个节点不工作，对系统不会造成任何影响，数据仍然可用。（3）提供对这些信息的快速访问，并提供可扩展的方式。能够通过简单加入更多服务器的方式就能够服务更多的客户端。（4）HDFS是

2015-07-07 14:35:11 580

原创一些文章的搜集——关于Hadoop

Hadoop 要做的事首先把 1PB的数据文件导入到 HDFS中, 然后编程人员定义好 map和reduce, 也就是把文件的行定义为key,每行的内容定义为value , 然后进行正则匹配,匹配成功则把结果通过reduce聚合起来返回.Hadoop 就会把这个程序分布到N 个结点去并行的操作。比如 1亿个 1 相加得出计算结果, 我们很轻易知道结果是 1亿.但是计算机不知道.那么单台计算

2015-07-07 13:49:41 543

原创设置ubuntu root默认密码（初始密码）

ubuntu安装好后，root初始密码（默认密码）不知道，需要设置。1、先用安装时候的用户登录进入系统2、输入：sudo passwd 按回车3、输入新密码，重复输入密码，最后提示passwd：password updated sucessfully此时已完成root密码的设置4、输入：su root切换用户到root即可如果要切换到用户即：su 用户名

2015-07-06 15:51:19 1378

原创 Ubuntu14.10 Eclipse菜单栏消失不见

新建一个eclipse.sh文件，加入如下内容，下面的路径是elcipse的路径 export UBUNTU_MENUPROXY=0 /opt/eclipse/eclipse在终端 sh ./eclipse.sh

2015-07-06 11:33:55 1094

原创配置Mahout——ubuntu安装Eclipse最新版

1、访问官方网站下载 Eclipse 最新版： Eclipse Downloads http://www.eclipse.org/downloads/?osType=linux&release=undefined 2、解压 Eclipse 使用如下命令将 Eclipse 解压到 /opt/ 目录以供全局使用： cd /opt/ && sudo tar -zxvf ~/下载/eclipse-

2015-07-06 10:58:25 687

原创配置Mahout——ubuntu安装java开发环境

Java环境的傻瓜式安装步骤：sudo add-apt-repository ppa:webupd8team/javasudo apt-get updatesudo apt-get install Oracle-java8-installer

2015-07-06 09:48:43 834

原创 Ubuntu14.04怎么安装vim？

Ubuntu14.04重装后安装vim时出现以下的情况怎么办？ wu@wu-Inspiron-5437:~$ sudo apt-get install vim 正在读取软件包列表… 完成正在分析软件包的依赖关系树正在读取状态信息… 完成现在没有可用的软件包 vim，但是它被其它的软件包引用了。这可能意味着这个缺失的软件包可能已被废弃，或者只能在其他发布源中找到E: 软件包

2015-07-04 11:00:23 6207 1

原创 Ubuntu上如何安装gensim?

Ubuntu上如何gensim?gensim支持主题模型方法LDA（潜在狄利克雷分配，Latent Dirichlet Allocation）.安装步骤：安装scipy安装gensim1、安装scipy sudo pip install scipy (版本：0.15.1) 2、安装gensim 在http://radimrehurek.com/gensim

2015-07-01 15:08:48 3079

u013488563的专栏