hadoop
文章平均质量分 67
老熊猫
多年从事数据挖掘工作,掌握python、shell、sql和java等语言,熟悉Linux环境下mysql、hadoop的搭建使用等。
展开
-
hadoop MapReduce实例解析
hadoop MapReduce实例解析 时间2013-04-11 11:06:26 CSDN博客 原文 http://blog.csdn.net/liuxiaochen123/article/details/8786715 1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给转载 2014-06-19 11:02:51 · 423 阅读 · 0 评论 -
编译Apache Hadoop2.2.0的Eclipse插件
http://demo.netfoucs.com/u010967382/article/details/25368045 【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse插件 分类: Hadoop2.0 |2014-05-09 09:47 |320人阅读 目标: 编译Apache Hadoop2.2.0在win7x转载 2014-06-19 11:07:10 · 531 阅读 · 0 评论 -
编译Apache Hadoop2.2.0源代码--未成功
如何编译Apache Hadoop2.2.0源代码 2013年12月26日 ⁄ hadoop, hadoop2, hadoop及周边⁄ 共 7193字 ⁄ 字号 小 中 大 ⁄ 2条评论 ⁄ 阅读 3,860 views 次 hadoop2的学习资料很少,只有官网的少数文档。如果想更深入的研究hadoop2,除了仅看官网的文档外,还要学习如何看源码,通过不断转载 2014-06-19 11:08:03 · 476 阅读 · 0 评论 -
Hadoop集群MapReduce初级案例
http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html Hadoop集群(第9期)_MapReduce初级案例 1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的Ma转载 2014-06-19 11:05:55 · 736 阅读 · 0 评论 -
hadoop日志输出
hadoop有自己记录日志的路径和配置方法。 打印日志方法:log4j,slf4j等记录日志方法,系统日志等。 日志记录的路径和文件名的定义:mapred-site.xml中有相关的设置。 xml version="1.0"?> xml-stylesheet type="text/xsl" href="configuration.xsl"?>原创 2015-01-05 11:27:36 · 1912 阅读 · 0 评论 -
hadoop中mapred常见错误
Error: java.lang.ClassCastException: org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.io.Text at EnStSas.EnStSas$MapYesterday.map(EnStSas.java:1) 这在map的第一个参数设置时,即k1的值必须为原创 2015-01-05 18:49:17 · 719 阅读 · 0 评论 -
安装Maven
安装Maven Maven的下载地址:http://maven.apache.org/download.cgi 这里以最新的3.2.3版本为例进行安装,在这之前需要确保机器上已经安装了JDK。 首先下载Maven并解压,并移动到usr/local目录下 $ wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.2.原创 2016-11-03 13:34:12 · 266 阅读 · 0 评论