![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 80
jiaaq2008
这个作者很懒,什么都没留下…
展开
-
Hadoop技术一句话介绍
Hadoop 是一种分布式系统的平台,通过它可以很轻松的搭建一个高效、高质量的分布系统,而且它还有许多其它的相关子项目,也就是对它的功能的极大扩充,包括Zookeeper,Hive,Hbase等。 MapReduce 是Google提出的一种算法,用于超大型数据集的并行运算。它是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdf...原创 2014-05-04 20:22:52 · 165 阅读 · 0 评论 -
转-Hadoop虽强大,但不是万能的
注:本文翻译自 http://www.cyanny.com/2013/12/05/hadoop-isnt-silver-bullet/ Hadoop是一个分布式海量数据计算的伟大框架。但是,hadoop并不是万能的。比如,以下场景就不适合用hadoop: 1、低延迟数据访问需要实时查询并在毫秒级内进行低延时访问数据就不适合用hadoop。Hadoop并不适用于数据库。数...原创 2014-04-10 17:17:53 · 83 阅读 · 0 评论 -
hadoop配置、运行错误总结一
新手搞hadoop最头疼各种各样的问题了,我把自己遇到的问题以及解决办法大致整理一下先,希望对你们有所帮助。一、hadoop集群在namenode格式化(bin/hadoop namenode -format)后重启集群会出现如下Incompatible namespaceIDS in ... :namenode namespaceID = ... ,datanode namesp...原创 2014-04-11 13:14:46 · 109 阅读 · 0 评论 -
hadoop配置、运行错误总结二
接上一篇。十二、如果遇到如下错误:FAILED java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI:***就是URI里边出现了不允许出现的字符,比如冒号:之类的,操作系统不允许的文件命名字符。详细的可以根据提示的部分(星号部分)来进行grep...原创 2014-04-11 13:15:52 · 130 阅读 · 0 评论 -
hadoop参数配置优化
由于最近一直忙于项目的开发,所以很多配置大致进行了一下测试,具体的数据并没有统计,所以以下配置还需要根据自身的项目应用和硬件配置进行修改,事后等空闲了进行一下配置优化测试。先给出配置项。配置版本hadoop 1.0.3,版本不同可能配置项的名称会有差异。主要参照官方给出的配置指南进行的。 hadoop.tmp.dir 默认值: /tmp 说明: 尽量手动配置这个选项,否则的话都默认存在了里系统...原创 2014-04-12 00:09:04 · 54 阅读 · 0 评论 -
转-- Hadoop常见错误问题及解决方法(1)
遇到问题以后先查看日志,以下是常见的错误情况及解决方法,希望对大家有所帮助。 1、启动hadoop时没有NameNode的可能原因:(1) NameNode没有格式化(2) 环境变量配置错误(3) Ip和hostname绑定失败 2、地址占用报错:org.apache.hadoop.hdfs.server.namenode.NameNode: Address a...原创 2014-04-13 22:32:34 · 152 阅读 · 0 评论 -
Hadoop面试45个题目和参考答案
1.Hadoop集群可以运行的3个模式? 单机(本地)模式伪分布式模式全分布式模式 2. 单机(本地)模式中的注意点?在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序,这也是最少使用的一个模式。3. 伪分布模式中的注意点?伪分...原创 2014-04-13 22:41:27 · 101 阅读 · 0 评论 -
HDFS追本溯源:体系架构详解
Hadoop是一个开发和运行处理大规模数据的软件平台,是Apache的一个用Java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。 Hadoop框架中最核心设计就是:HDFS和MapReduce。HDFS提供了海量数据的存储,MapReduce提供了对数据...原创 2014-04-14 13:03:16 · 96 阅读 · 0 评论 -
转-用Hadoop构建电影推荐系统
Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。从2011...原创 2014-04-14 16:06:52 · 751 阅读 · 0 评论 -
hadoop mapreduce多表关联
假设有如下两个文件,一个是表是公司和地址的序号的对应,一个表是地址的序号和地址的名称的对应。 表1: [plain] A:Beijing Red Star 1 A:Shenzhen Thunder 3 A:Guangzhou Honda 2 A:Beijing Rising 1 A:Guangzhou Development Bank ...原创 2014-04-16 13:03:41 · 120 阅读 · 0 评论 -
hadoop mapreduce单表关联
例如给出表child-parent表,要求输出grandchildren-grandparent表给出:child parentTom LucyTom JackJone LucyJone JackLucy MaryLucy BenJack AliceJack Jesse 输出:Tom AliceTom JesseJone Alice...原创 2014-04-16 13:05:12 · 113 阅读 · 0 评论 -
hadoop集群调优
hadoop集群调优分两个方面,map和reduce map调优: map 任务执行会产生中间数据,但这些中间结果并没有直接IO到磁盘上,而是先存储在缓存(buffer)中,并在缓存中进行一些预排序来优化整个map的性能,该存储map中间数据的缓存默认大小为100M,由io.sort.mb 参数指定.这个大小可以根据需要调整。当map任务产生了非常大的中间数据时可以适当...原创 2014-04-19 22:53:01 · 109 阅读 · 0 评论 -
单节点配置SecondaryNameNode
一、SecondaryNameNode概念: 光从字面上来理解,很容易让一些初学者先入为主:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。ssn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的信息的备份,并减少namenode重启的时间。...原创 2014-04-10 16:53:14 · 123 阅读 · 0 评论 -
oop主节点(NameNode)备份策略以及恢复方法
一、dits和fsimage 首先要提到两个文件edits和fsimage,下面来说说他们是做什么的。集群中的名称节点(NameNode)会把文件系统的变化以追加保存到日志文件edits中。当名称节点(NameNode)启动时,会从镜像文件 fsimage 中读取HDFS的状态,并且把edits文件中记录的操作应用到fsimage,也就是合并到fsimage中去。合并后更新f...原创 2014-04-10 16:38:01 · 102 阅读 · 0 评论 -
Hadoop分布式文件系统:架构和设计要点
转一篇关于Hadoop系统架构设计的文章,作者翻译的不错,其英文原文是理解Hadoop的经典文章。原文出处:http://www.blogjava.net/killme2008/archive/2008/06/05/206043.html Hadoop分布式文件系统:架构和设计要点原文:http://hadoop.apache.org/core/docs/current/hdfs...原创 2014-05-10 19:12:22 · 128 阅读 · 0 评论 -
Hadoop学习总结
Hadoop是什么东西?什么用? (一) Hadoop是什么? 一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心设计就是:HDFS和MapReduce,HDFS实现存储,而MapReduce实现原理分析处理,这两部分是hadoop的核心。数据在Hadoop中处理的流程可以...原创 2014-06-10 00:18:03 · 303 阅读 · 0 评论 -
hadoop-集群管理(2)——内存设置
1. 内存hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存在hadoop-env.sh中设置,参数为HADOOP_HEAPSIZE,默认为1000M。大部分情况下,这个统一设置的值可能并不适合。例如对于namenode节点,1000M的内存只能存储几百万个文件的数...原创 2014-06-12 11:52:46 · 100 阅读 · 0 评论 -
hadoop-集群管理(1)——配置文件
1. 配置文件列表如下:[tianyc@Route conf]$ pwd/home/tianyc/hadoop-1.0.4/conf[tianyc@Route conf]$ ll总用量 76-rw-rw-r--. 1 tianyc NEU 7457 3月 6 10:38 capacity-scheduler.xml-rw-rw-r--. 1 tianyc NEU 535 3月 ...原创 2014-06-12 11:53:23 · 110 阅读 · 0 评论 -
【原创】-eclipse下连Hadoop报java.lang.OutOfMemoryError: Java heap space的解决办法
eclipse下java.lang.OutOfMemoryError: Java heap space的解决办法: 一、在eclipse下远程连接Hadoop出现如下问题: 14/03/28 22:39:03 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... u...原创 2014-03-28 23:13:57 · 379 阅读 · 0 评论 -
解决windows下远程调试hadoop权限问题jar包
解决windows下远程调试hadoop权限问题(附jar包): ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path:)重新编译了hadoop-core-1.2...原创 2014-03-29 09:27:36 · 165 阅读 · 0 评论 -
如何编写Hadoop调度器
中国第一个在线Hadoop教育平台—小象学院,推荐给Hadoop初学者和实践者,网址是:http://www.chinahadoop.cn/本博客微信公共账号:hadoop123(微信号为:hadoop-123),分享hadoop技术内幕,hadoop最新技术进展,发布hadoop相关职位和求职信息,hadoop技术交流聚会、讲座以及会议等。二维码如下:1. 编写目的 在Ha...原创 2014-04-03 23:01:16 · 99 阅读 · 0 评论 -
Hadoop资源感知调度器
中国第一个在线Hadoop教育平台—小象学院,推荐给Hadoop初学者和实践者,网址是:http://www.chinahadoop.cn/本博客微信公共账号:hadoop123(微信号为:hadoop-123),分享hadoop技术内幕,hadoop最新技术进展,发布hadoop相关职位和求职信息,hadoop技术交流聚会、讲座以及会议等。二维码如下:1. 什么是Hadoop资源感...原创 2014-04-03 23:04:17 · 193 阅读 · 0 评论 -
hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
1)NameNode、DataNode和Client NameNode可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中,这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。DataNode是文件存储的基本单元,它将Bl...原创 2014-04-03 23:28:49 · 975 阅读 · 0 评论 -
Hadoop集群三种作业调度算法介绍
Hadoop集群中有三种作业调度算法,分别为FIFO,公平调度算法和计算能力调度算法先来先服务(FIFO)Hadoop中默认的调度器FIFO,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。FIFO比较简单,hadoop中只有一个作业队列,被提交的作业按照先后顺序在作业队列中排队,新来的作业插入到队尾。一个作业运行完后,总是从队首取下一个作业运行。这种调度策略的优点是简单、易于...原创 2014-04-03 23:29:34 · 328 阅读 · 0 评论 -
hadoop常见错误及处理方法
1、hadoop-root-datanode-master.log 中有如下错误: ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in 导致datanode启动不了。 原因:每次namenode format会重新创建一个namenode...原创 2014-04-10 16:33:57 · 122 阅读 · 0 评论 -
Hadoop分析日志实例的详细步骤及出现的问题分析和解决
1). 日志格式分析首先分析 Hadoop 的日志格式, 日志是一行一条, 日志格式可以依次描述为:日期、时间、级别、相关类和提示信息。如下所示:2014-01-07 00:31:25,393 INFO org.apache.hadoop.mapred.JobTracker: SHUTDOWN_MSG: /*****************************************...原创 2014-04-19 22:59:42 · 273 阅读 · 0 评论