hadoop
Rich_Billions
这个作者很懒,什么都没留下…
展开
-
hadoop2.2.0 XML配置
core-site.xml fs.default.name hdfs://192.168.1.108:9000 hadoop.tmp.dir file:/usr/local/hadoop/temp hdfs-site.xml dfs.replication原创 2015-05-27 20:10:56 · 369 阅读 · 0 评论 -
eclipse连接Hadoop2.2.0(Ubuntu)
1.解压Hadoop2.2.0(http://pan.baidu.com/s/1sjr4DFB 密码: 2nh7)在Windows上,把hadoop-common-2.2.0-bin-master.zip(http://pan.baidu.com/s/1hqhDDOg 密码: 6vqf)解压覆盖在Hadoop的bin目录 2.配置好Hadoop环境变量 Path ;%HADOOP_HOME%原创 2015-05-27 20:51:16 · 474 阅读 · 0 评论 -
hadoop2.2.0 pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.原创 2015-05-28 20:12:00 · 782 阅读 · 0 评论 -
hadoop学习笔记(1)
1.inputformat()和inputsplit ~format():用来生产供Map使用的原创 2015-06-02 20:40:27 · 340 阅读 · 0 评论 -
Hadoop学习(2)
MapReduce工作机制执行流程流程:代码编写 -> 作业配置 -> 作业提交 -> Map任务的分配和执行 -> 处理中间结果 -> Reduce任务的分配和执行 -> 作业完成 客户端:~ jobtracker:~ tasktracker:~ hdfs:~提交作业MapReduce被提交之后就会自动执行,所以提交前要配置好。 1.mapreduce主体代码 2.map输出的k-原创 2015-06-03 19:57:18 · 404 阅读 · 0 评论 -
hadoop学习(3)
求学生成绩平均值 数据格式 学生名称 成绩 Map函数package com.hadoop.myhadoop1;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;原创 2015-06-15 19:10:18 · 374 阅读 · 0 评论 -
Hadoop学习4
调优:1采用大文件对小文件进行合并或者使用Hadoop的CombineFileInputFormat将多个文件打包到一个输入单元面2压缩文件对Map的输出进行压缩将mapred.compress.map.output属相设置为true对输出进行压缩,设置mapred.map.output.compression.codec设置压缩格式3过滤数据在作业执行前清楚无用数据使用Bloom Filter 类原创 2015-06-15 19:41:44 · 360 阅读 · 0 评论 -
Hadoop学习5
链接MapReduce job线性Mapreduce Job流要多个Mapreduce job 配合起来自动完成复杂的任务,不需要用户手动启动每一个作业。 设置多个有一定顺序的Job,以前一个job的输出为下一个job的输入,实现:将每一个job的启动代码设置为只有上一个job结束之后才执行,然后将job的输入设置为上一个job的输出路径复杂的Mapreduce job流使用Mapreduce框架原创 2015-06-15 19:55:11 · 356 阅读 · 0 评论