![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
架构师之路
太原科技大学
展开
-
Hadoop集群系列 学习的绝佳资料
发现一个牛人的博客,学习hadoop必备!!!http://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html原创 2012-12-21 20:44:48 · 1148 阅读 · 0 评论 -
Win7 eclipse Hadoop Failed to set permissions of path
Win7 eclipse Hadoop Failed to set permissions of pathhadoop1.0.2在windows远程调试linux的程序时,报错:12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor原创 2013-01-23 12:45:44 · 6839 阅读 · 4 评论 -
hadoop多表关联
2.多表关联 多表关联和单表关联类似,它也是通过对原始数据进行一定的处理,从其中挖掘出关心的信息。下面进入这个实例。 实例描述 输入是两个文件,一个代表工厂表,包含工厂名列和地址编号列;另一个代表地址表,包含地址名列和地址编号列。要求从输入数据中找出工厂名和地址名的对应关系,输出"工厂名——地址名"表。 样例输入如下所示。 1)fac原创 2013-01-23 13:07:02 · 6447 阅读 · 0 评论 -
hadoop单表关联
1. 单表关联 实例描述 实例中给出child-parent(孩子——父母)表,要求输出grandchild-grandparent(孙子——爷奶)表。 样例输入如下所示。 file: child parentTom LucyTom JackJone LucyJon原创 2013-01-23 13:06:21 · 3963 阅读 · 2 评论 -
sqoop安装配置
sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-CDH3B4.jar,所以你需要下载hadoop-0.20.2-CDH3B4.tar.gz,解压缩后将hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2-CDH3B4.原创 2013-01-11 15:34:14 · 1633 阅读 · 1 评论 -
hadoop 两表join
1. 概述在传统数据库(如:MYSQL)中,JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作,同样常见且耗时,由于Hadoop的独特设计思想,当进行JOIN操作时,有一些特殊的技巧。本文首先介绍了Hadoop上通常的JOIN实现方法,然后给出了几种针对不同输入数据集的优化方法。2. 常见的join方法介绍假设要进行join的数据分别来自File1和File2.原创 2013-01-31 23:05:34 · 897 阅读 · 0 评论 -
sqoop使用时 Oracle ORA-01555快照过旧的错误
关于Oracle ORA-01555快照过旧的错误首先了解Oracle在什么情况下会产生ORA-01555错误: 假设有一张6000万行数据的testdb表,预计testdb全表扫描1次需要2个小时,参考过程如下: 1、在1点钟,用户A发出了select * from testdb;此时不管将来testdb怎么变化,正确的结果应该是用户A会看到在1点钟这个时刻的内容。2、在1点原创 2013-01-31 23:16:46 · 1422 阅读 · 0 评论 -
Bloom Filter
Bloom Filter是一种空间效率很高的随机数据结构,它利用位数组很简洁地表示一个集合,并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的:在判断一个元素是否属于某个集合时,有可能会把不属于这个集合的元素误认为属于这个集合(false positive)。因此,Bloom Filter不适合那些“零错误”的应用场合。而在能容忍低错误率的应用场合下,Bloom原创 2013-02-01 13:29:31 · 832 阅读 · 0 评论 -
Hadoop MapReduce进阶 使用DataJoin包实现Join
概念:Hadoop有一个叫DataJoin的包为Data Join提供相应的框架。它的Jar包存在于contrib/datajoin/hadoop-*-datajoin。为区别于其他的data join技术,我们称其为reduce-side join。(因为我们在reducer上作大多数的工作)reduce-side join引入了一些术语及概念: 1.Dat原创 2013-01-31 22:51:55 · 2694 阅读 · 0 评论 -
Hadoop-采样器-多输入路径-只采一个文件-(MultipleInputs+getsample(conf.getInputFormat)
之前弄采样器,以为已经结束了工作,结果现在又遇到了问题,因为我的输入有两个文件,设计要求是先只采样其中的大文件(未来是两个文件分别采样的),只有一个输入文件且采样时,使用采样器的代码是:[java] view plaincopyprint?Path input = new Path(args[0].toString()); input = input.makeQu原创 2013-01-31 22:57:39 · 2027 阅读 · 0 评论 -
Hadoop中的各种排序
1:shuffle阶段的排序(部分排序)shuffle阶段的排序可以理解成两部分,一个是对spill进行分区时,由于一个分区包含多个key值,所以要对分区内的按照key进行排序,即key值相同的一串存放在一起,这样一个partition内按照key值整体有序了。第二部分并不是排序,而是进行merge,merge有两次,一次是map端将多个spill 按照分区和分区内的key进行merge,原创 2013-01-31 22:55:05 · 1555 阅读 · 1 评论 -
Hadoop MapReduce进阶 使用分布式缓存进行replicated join
概念:reduce-side join技术是灵活的,但是有时候它仍然会变得效率极低。由于join直到reduce()阶段才会开始,我们将会在网络中传递shuffle所有数据,而在大多数情况下,我们会在join阶段丢掉大多数传递的数据。因此我们期望能够在map阶段完成整个join操作。主要技术难点:在map阶段完成join的主要困难就是mapper可能需要与一个它自己不能获得的数据进行j原创 2013-01-31 22:48:56 · 1129 阅读 · 0 评论 -
Hadoop HDFS之SequenceFile和MapFile
Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的,在小文件的处理上不但效率低下,而且十分消耗磁盘空间(每一个小文件占用一个Block,HDFS默认block大小为64M)。解决办法通常是选择一个容器,将这些小文件组织起来统一存储。HDFS提供了两种类型的容器,分别是SequenceFile和MapFile。一、SequenceFileSequenceFi原创 2013-01-17 18:42:23 · 7516 阅读 · 0 评论 -
RawComparator
hadoop的原生比较器RawComparator public WritableCom...1人收藏此文章, 我要收藏发表于11个月前(2012-02-08 16:24) , 已有312次阅读 ,共0个评论 hadoop为序列化提供了优化,类型的比较对M/R而言至关重要,Key和Key的比较也是在排序阶段完成的,hadoop提供了原生的比较器接口RawComparat原创 2013-01-18 18:35:25 · 3252 阅读 · 1 评论 -
利用SQOOP将数据从数据库导入到HDFS
利用SQOOP将数据从数据库导入到HDFS基本使用如下面这个shell脚本:#Oracle的连接字符串,其中包含了Oracle的地址,SID,和端口号CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2#使用的用户名ORACLENAME=kkaa#使用的密码ORACLEPASSWORD=kkaa123原创 2013-01-18 17:17:25 · 3795 阅读 · 0 评论 -
使用Hadoop MapReduce 进行排序
在hadoop中的例子TeraSort,就是一个利用mapredue进行排序的例子。本文参考并简化了这个例子: 排序的基本思想是利用了mapreduce的自动排序功能,在hadoop中,从map到reduce阶段,map出来的结构会按照各个key按照 hash值分配到各个reduce中,其中,在reduce中所有的key都是有序的了。如果使用一个reduce,那么我们直接将他o原创 2013-01-23 11:58:50 · 1341 阅读 · 0 评论 -
Hadoop源码解读
Hadoop源代码分析(一)关键字: 分布式 云计算 完整文章及图,在我的资源里面,可以去下载。Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster: http://research.google.com/archive/googlecluster.html Chubby:http://labs.go原创 2013-01-06 18:59:48 · 8456 阅读 · 3 评论 -
org.apache.hadoop.mapred.FileAlreadyExistsException
cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:54310/。。。。。12/05/28 09:33:37 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. A原创 2012-12-25 10:24:54 · 7754 阅读 · 0 评论 -
错误:hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException:
错误:hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException:hadoopioexceptionconnectbadack hadoop 运行任务的时候突然报错:java.io.IOException: Bad connect ack with firstBadLink 192.1原创 2012-12-25 10:52:20 · 22518 阅读 · 0 评论 -
Hadoop使用常见问题以及解决方法 .
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。 /etc/security/limits.conf原创 2012-12-25 11:07:56 · 13256 阅读 · 1 评论 -
hadoop 出现SafeModeException
hadoop 出现SafeModeException最近hadoop启动后出现错误,在jobtracker的log中错误如下:2012-03-24 13:50:55,615 INFO org.apache.hadoop.mapred.JobTracker: problem cleaning system directory: hdfs://192.168.1.100:9000/home原创 2012-12-24 14:48:35 · 1237 阅读 · 0 评论 -
Win下Eclipse提交hadoop程序出错:org.apache.hadoop.security.AccessControlException: Permission denied:
Win下Eclipse提交hadoop程序出错:org.apache.hadoop.security.AccessControlException: Permission denied: user=administrator, access=WRITE描述:在window下使用Eclipse进行hadoop的程序编写,然后Run on hadoop 后,出现如下错误:11/10/28 16原创 2012-12-25 10:07:46 · 6172 阅读 · 0 评论 -
为什么分片大小需要与HDFS数据块大小一致
hadoop将mapReduce的输入数据划分为等长的小数据块,称为输入分片或者分片,hadoop为每个分片构建一个map任务。 hadoop在存储有输入数据(HDFS中的数据)的节点上运行map任务,可以获得高性能,这就是所谓的数据本地化。所以最佳分片的大小应该与HDFS上的块大小一样,因为如果分片跨越2个数据块,对于任何一个HDFS节点(基本不肯能同时存储这2个数据块),分片中原创 2012-12-26 11:46:29 · 3366 阅读 · 1 评论 -
剖析MapReduce过程
Job初始化当JobTracker接收到一个请求调用它的submitJob()方法时,它把该请求插入一个内部队列中,由job的调度管理器进行调度并初始化。Job初始化将会创建一个控制job的执行情况的对象RunningJob,RunningJob会对tasks进行压缩,记录tasks的信息用于跟踪tasks的状态和执行进度。 为了能够使得tasks运行起来,job的调度管理器首先会接收原创 2012-12-27 17:35:39 · 1561 阅读 · 0 评论 -
mapreduce 利用InverseMapper.class对key,value进行 交换实现词频排序 .
1.实现的map类原创 2012-12-28 17:51:51 · 4019 阅读 · 1 评论 -
Hadoop报错“could only be replicated to 0 nodes, instead of 1” .
Hadoop报错“could only be replicated to 0 nodes, instead of 1”root@scutshuxue-desktop:/home/root/hadoop-0.19.2# bin/hadoop fs -put conf input10/07/18 12:31:05 INFO hdfs.DFSClient: org.apache.hadoop.ipc原创 2012-12-19 18:41:32 · 1464 阅读 · 0 评论 -
hadoop的五个守护进程
hadoop的五个守护进程 一般如果正常启动hadoop,我们可以在master上通过jps命令看到以下5个daemons:[root@master ~]# jps31144 Jps19803 SecondaryNameNode19994 TaskTracker19571 NameNode19672 DataNode19887 JobTracker原创 2012-12-21 14:09:48 · 3277 阅读 · 0 评论 -
JobTracker和TaskTracker
JobTracker和TaskTrackerJobTracker 对应于 NameNodeTaskTracker 对应于 DataNodeDataNode 和NameNode 是针对数据存放来而言的JobTracker和TaskTracker是对于MapReduce执行而言的 mapreduce中几个主要概念,mapreduce整体上可以分为这么几条执行线索:jo原创 2012-12-20 10:29:43 · 6417 阅读 · 0 评论 -
Name node is in safe mode.
Name node is in safe mode.关闭safemodehadoop dfsadmin -safemode leave Exception in thread "main" org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.SafeModeExcepti原创 2012-12-19 18:39:48 · 3086 阅读 · 0 评论 -
Hadoop HDFS分布式文件系统
引言:我们维护hadoop系统的时候,必不可少需要对HDFS分布式文件系统做操作,例如拷贝一个文件/目录,查看HDFS文件系统目录下的内容,删除HDFS文件系统中的内容(文件/目录),还有HDFS管理信息,单独启动停止 namenode datanode jobtracker tasktracker等等一系列的操作。大家跟着做一遍呢!就会对HDFS的体系架构有更加深入的理解,不多说我们开始吧原创 2012-12-21 15:36:35 · 1429 阅读 · 0 评论 -
深入理解Hadoop集群和网络 .
转载自http://www.csdn.net/article/2012-08-30/2809380-understanding-hadoop-clusters-network , 仅为备份摘要:本文将着重于讨论Hadoop集群的体系结构和方法,及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。导读:云计算和Hadoop中网络是讨论得相对比较少的原创 2012-12-20 10:40:24 · 1353 阅读 · 0 评论 -
Hadoop学习总结Map-Reduce的过程解析
一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的:public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient jc = ne原创 2013-01-06 18:49:54 · 1620 阅读 · 0 评论 -
HDFS配置Kerberos认证
HDFS配置Kerberos认证转载 2016-04-22 10:03:13 · 12849 阅读 · 2 评论