转折转折的博客

咸鱼在线

排序:
默认
按更新时间
按访问量

hadoop相关 mapreduce 相关

作业: 1.mapreduce 工作流程 参数意义 2.FileInputFormat ? 3.写个去重MR 4.完成sort 5.工作流程总结 spli—map—reduce 6.InputSplit? 简介mapreduce工作流程转载自 http://blog.csdn.net/...

2017-07-23 15:46:02

阅读数:121

评论数:0

Hadoop中HDFS相关

作业 总结HDFS的IO操作 数据完整性的操作 文件格式 压缩算法 序列化 数据类型 Hadoop工程下与I/O相关的包如下: org.apache.hadoop.io org.apache.hadoop.io.compress org.apache.hadoop.io.file.tfil...

2017-07-20 21:42:15

阅读数:140

评论数:0

HADOOP 中的问题

来源 http://blog.csdn.net/qqq824908000/article/details/70789303 java.io.EOFException: End of File Exception between local host is: “slave2/172.17....

2017-07-20 20:06:22

阅读数:109

评论数:0

hadoop put指令失败

hadoop fs -put 指令输入之后 出现 put: File /1.txt.COPYING could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) runn...

2017-07-20 10:43:55

阅读数:150

评论数:1

Hadoop技术

Hadoop主从结构HDFS的体系架构整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持,并通过MR来实现对分布式并行任务处理的程序支持。HDFS采用主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的(在最新的Ha...

2017-07-19 19:58:39

阅读数:148

评论数:0

Hadoop相关

Hadoop相关概念Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算.核心Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,...

2017-07-18 23:25:58

阅读数:149

评论数:0

大数据相关

大数据相关 结构化与非结构化处理手段 什么是大数据 数据仓库 #注意 以下内容转自百度百科结构化 结构化数据,简单来所就是数据库 基本包括高速存储应用需求、数据备份需求、数据共享需求、以及数据容灾需求概述 结构化数据也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长...

2017-07-17 19:50:04

阅读数:480

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭