Maven常用命令

创建Maven的普通java项目: mvn archetype:create -DgroupId=packageName -DartifactId=projectName 创建Maven的Web项目: mvn archetype:create -DgroupId=packageName...

2015-07-31 20:27:06

阅读数:347

评论数:0

在Ubuntu下使用Eclispe连接HDFS时拒绝链接解决方案

一、关闭防火墙 ufw disable 二、把hadoop三个配置文件中涉及到的主机名全部改成ip地址,也即localhost(我这里是ubuntu)改成127.0.0.1

2015-07-20 16:33:20

阅读数:501

评论数:0

ubuntu防火墙设置

1、关闭ubuntu的防火墙 ufw disable 开启防火墙 ufw enable2、卸载了iptables apt-get remove iptables 3、关闭ubuntu中的防火墙的其余命令 iptables -P INPUT ACCEPT iptables -P FO...

2015-07-20 16:17:56

阅读数:368

评论数:0

【hadoop】DataNode用jps查看无法启动解决办法

查看DataNode端口没有被其他进程占用,但是依旧用jps查看不了DataNode,此时打开hadoop,访问http://localhost:50070,点击页面中的Namenode logs链接,在logs页面点击hadoop-hadoop-datanode-ubuntu.log 链接,发现...

2015-07-20 15:27:39

阅读数:5343

评论数:1

【hadoop】DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法

start-all.sh和jps后出现一下问题 root@ubuntu:/opt/hadoop-0.20.2/bin# sh start-all.sh starting namenode, logging to /opt/hadoop-0.20.2/bin/../logs/hadoop-root-...

2015-07-20 14:55:24

阅读数:2326

评论数:0

Hadoop jps出现process information unavailable提示解决办法

启动Hadoop之后,使用jps命令查看当前系统的java进程情况,显示:root@ubuntu:/opt/hadoop-0.20.2/bin# jps 68297 NameNode 68702 JobTracker 60622 -- process information unavailable...

2015-07-20 14:45:21

阅读数:625

评论数:0

推荐系统评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure)

下面简单列举几种常用的推荐系统评测指标:1、准确率与召回率(Precision & Recall)准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值,用来评价结果的质量。其中精度是检索出相关文档数与检索出的文档总数的比率,衡量的是检索系统的查准率;召回率是指检索出的相关文档数和文...

2015-07-18 16:09:28

阅读数:814

评论数:0

Java异常与异常处理小记

以上截图均来自慕课网java第三季第一节《Java异常与异常处理》,在这里做一下小记,后面还有一些知识,通过继续观看视频和写代码学习。这一块不再更新。

2015-07-09 14:16:24

阅读数:445

评论数:0

hadoop shell命令介绍

Hadoop 文件系统shell使用命令介绍,基本上所有的命令与linux命令相差不大,下面为我的hadoop系统文件夹 查看命令:hadoop fs -ls /home/hadoop/ drwxr-xr-x - hadoop supergroup 0 2013-11-3...

2015-07-08 21:38:07

阅读数:485

评论数:0

hadoop一些基本知识——Mapreduce shuffle和排序

Mapreduce为了确保每个reducer的输入都按键排序。系统执行排序的过程—–将map的输出作为输入传给reducer 称为shuffle。学习shuffle是如何工作的有助于我们理解mapreduce工作机制。shuffle属于hadoop不断被优化和改进的代码库的一部分。从许多方面看,s...

2015-07-08 21:07:46

阅读数:1035

评论数:0

hadoop一些基本知识——Hadoop reducer类的阅读

在Hadoop的reducer类中,有3个主要的函数,分别是:setup,clearup,reduce。代码如下: /** * Called once at the start of the task. */ protected void setup(Context contex...

2015-07-08 17:36:50

阅读数:594

评论数:0

hadoop一些基本知识——Hadoop mapper类的阅读

在Hadoop的mapper类中,有4个主要的函数,分别是:setup,clearup,map,run。代码如下:protected void setup(Context context) throws IOException, InterruptedException { // NOTHING ...

2015-07-08 17:04:44

阅读数:669

评论数:0

hadoop一些基本知识——Mapreduce 整个工作机制图

图二中1:表示待处理数据,比如日志,比如单词计数 图二中2:表示map阶段,对他们split,然后送到不同分区 图二中3:表示reduce阶段,对这些数据整合处理。 图二中4:表示二次mapreduce,这个是mapreduce的链式。这里有个问题:输出的mapreduce结果,需要进入下一...

2015-07-07 15:25:27

阅读数:589

评论数:0

hadoop一些基本知识——Hadoop简介(1):什么是Map/Reduce

Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper,Pig,Chukwa,Hive,Hbase,Mahout,flume等....

2015-07-07 15:06:32

阅读数:1677

评论数:0

hadoop一些基本知识——hadoop HDFS文件系统的特征

hadoop HDFS文件系统的特征 (1)存储极大数目的信息(terabytes万亿字节 or petabytes千万亿字节),将数据保存到大量的节点当中。支持很大单个文件。 (2)提供数据的高可靠性,单个或者多个节点不工作,对系统不会造成任何影响,数据仍然可用。 (3)提供对这些信息的快...

2015-07-07 14:35:11

阅读数:419

评论数:0

一些文章的搜集——关于Hadoop

Hadoop 要做的事 首先把 1PB的数据文件导入到 HDFS中, 然后编程人员定义好 map和reduce, 也就是把文件的行定义为key,每行的内容定义为value , 然后进行正则匹配,匹配成功则把结果 通过reduce聚合起来返回.Hadoop 就会把这个程序分布到N 个结点去并行的操作...

2015-07-07 13:49:41

阅读数:393

评论数:0

设置ubuntu root默认密码(初始密码)

ubuntu安装好后,root初始密码(默认密码)不知道,需要设置。1、先用安装时候的用户登录进入系统2、输入:sudo passwd 按回车3、输入新密码,重复输入密码,最后提示passwd:password updated sucessfully此时已完成root密码的设置4、输入:su r...

2015-07-06 15:51:19

阅读数:564

评论数:0

Ubuntu14.10 Eclipse菜单栏消失不见

新建一个eclipse.sh文件,加入如下内容,下面的路径是elcipse的路径 export UBUNTU_MENUPROXY=0 /opt/eclipse/eclipse 在终端 sh ./eclipse.sh

2015-07-06 11:33:55

阅读数:862

评论数:0

配置Mahout——ubuntu安装Eclipse最新版

1、访问官方网站下载 Eclipse 最新版: Eclipse Downloads http://www.eclipse.org/downloads/?osType=linux&release=undefined 2、解压 Eclipse 使用如下命令将 Eclipse 解压到 /...

2015-07-06 10:58:25

阅读数:541

评论数:0

配置Mahout——ubuntu安装java开发环境

Java环境的傻瓜式安装步骤:sudo add-apt-repository ppa:webupd8team/javasudo apt-get updatesudo apt-get install Oracle-java8-installer

2015-07-06 09:48:43

阅读数:661

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭