Hadoop学习备忘录
oSayMissyou0
这个作者很懒,什么都没留下…
展开
-
对Hadoop自带程序WordCount的解读(转载,自用)
注:学习备忘自用。原文链接:http://www.2cto.com/database/201403/287775.html刚开始学习hadoop,对于Hadoop运行原理还不是特别熟悉,通过此例子可以对hadoop运行的原理有个初步的认知。下面是把源代码拷到eclipse程序中,利用此代码(并未修改)测试一下实际的数据并得到结果。(注释是对上以一行的解释)package c转载 2016-07-22 16:49:11 · 787 阅读 · 0 评论 -
windows上eclipse搭建hadoop开发环境(自用,备忘)
一.系统环境Windows7、Ecplise 4.4.0,Hadoop2.7.2Hadoop安装教程请看:Hadoop2.7.2安装教程二.安装步骤1.安装hadoop插件下载hadoop-eclipse-plugin-2.7.2.jar(点击下载),并且拷贝到eclipse根目录下/dropins下2.启动myeclipse,打开Perspective:【Window原创 2016-07-22 14:00:35 · 6048 阅读 · 1 评论 -
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.2/Ubuntu14.04(转载,修改部分内容)
注:本文主要是为了以后回顾自用。原文链接:http://www.powerxing.com/install-hadoop/当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是转载 2016-07-19 13:05:33 · 2598 阅读 · 0 评论 -
Hadoop-2.0命令手册
注:本文主要是自用原文链接:http://my.oschina.net/frankwu/blog/1026801. FS Shell1.1 简介调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文转载 2016-07-21 10:40:01 · 465 阅读 · 0 评论 -
Hadoop配置文件配置项定义说明(转载,自用,随着学习与版本更新逐渐更新)
hadoop的集群配置中,大部分都用的默认设置,如果想要提高整个集群的性能,可以考虑通过修改配置的方法实现,配置项大部分都配置在这三个文件里:core_site.xml, hdfs_site.xml, mapred_site.xml, 下面将经常会用到的配置项总结如下:(待补充) core_site.xmlfs.default.name(此处已修改为fs.defaultFS转载 2016-07-21 11:27:16 · 1458 阅读 · 0 评论