![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop系列
Java蜗牛
这个作者很懒,什么都没留下…
展开
-
hadoop文件系统的管理----》可以做网盘的呦
今天给大家介绍一下通过hadoop的和Struts搭建一个网盘的原创 2014-05-30 16:09:15 · 1151 阅读 · 0 评论 -
hadoop集群配置
国内最全最详细的Hadoop2.2.0集群的HA高可靠的最简单配置简介 Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不可靠的表现,如图1所示。hadoop2就解决了这个问题。转载 2015-02-13 14:51:00 · 729 阅读 · 0 评论 -
避免hadoop的堆内存错误
牢记以下五个步骤可以为你减少很多头痛的问题并且避免Java堆空间错误。通过计算预期的内存消耗。检查JVM是否有足够的可用空间。检查JVM的设置是否正确。限制节点使用交换空间和内存分页。设置实例slot数量小于JobTracker web GUI计算的数值。译者注:slot :slot不是CPU的Core,也不是memory chip,它是一个逻辑概念,一个节点的slot的数量转载 2015-01-07 18:20:21 · 1404 阅读 · 0 评论 -
hadoop的jvm重用
1 先让我们分析task在hadoop中Tasktracker的运行过程:我们知道每个job都是分割成多个task(由map task和reduce task组成)来完成的,而每个task又是由TaskLauncher(即:mapLauncher和reduceLauncher)来完成分配slot和开启task的运行(startNewTask),同时会创建相应的TaskInProgress,转载 2014-10-13 14:27:18 · 2252 阅读 · 0 评论 -
hadoop例子
目录[-]1.排序: 1)数据: 2)代码: 3)测试:2.去重: 1)数据: 2)代码: (1)map和reduce: (2)配置输出: 3)测试:3.过滤: 1)数据: 2)代码: (1)map和reduce: (2)配转载 2014-11-09 22:22:21 · 689 阅读 · 0 评论 -
hdfs文件的传输过程---也要三次握手
问题导读1、做一个HDFS写文件的测试,需要准备什么环境?2、如何对DataNode分析,有哪些节点?3、Client发起写文件的请求流程是什么?这里做一个测试HDFS写文件的测试NN : 192.168.1.1DN1 : 192.168.1.2DN2 : 192.168.1.3DN3 : 192.168.1.4Cli转载 2014-09-29 12:23:20 · 1726 阅读 · 0 评论 -
hadoop中的文件接口类-- SequenceFile
SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。目前,也有不少人在该文件的基础之上提出了一些HDFS中小文件存储的解决方案,他们的基本思路就是将小文件进行合并成一个大文件,同时对这些小文件的位置信息构建索引。不过,这类解决方案还涉及到Hadoop的另一种文件格式——MapFile文件。SequenceFile文件并不保证转载 2014-11-08 23:18:56 · 537 阅读 · 0 评论 -
hdfs关键数据详解
整理by DCLHDFS文件系统的架构图1:HDFS文件系统的架构Namenode: 一个hdfs cluster包含一个NameNode和若干的DataNode,NameNode是master,主要负责管理HDFS文件系统,具体地包括namespace管理(其实就是目录结构),block管理(其中包括 filename->block,block->ddatanod转载 2014-09-28 19:56:57 · 984 阅读 · 0 评论 -
hadoop元数据备份原理
1、NameNode启动加载元数据情景分析NameNode函数里调用FSNamesystemm读取dfs.namenode.name.dir和dfs.namenode.edits.dir构建FSDirectory。FSImage类recoverTransitionRead和saveNameSpace分别实现了元数据的检查、加载、内存合并和元数据的持久化存储。saveNameSpace将转载 2014-09-25 17:51:34 · 1998 阅读 · 0 评论 -
HDFS元数据
1、元数据(Metadata):维护HDFS文件系统中文件和目录的信息,分为内存元数据和元数据文件两种。NameNode维护整个元数据。HDFS实现时,没有采用定期导出元数据的方法,而是采用元数据镜像文件(FSImage)+日子文件(edits)的备份机制。2、Block:文件内容而言。寻路径流程: 路径信息原创 2014-09-25 17:49:48 · 926 阅读 · 0 评论 -
DRBD实现的Hadoop的热备
DRBD的原理DRBD(DistributedReplicated Block Device)是基于Linux系统下的块复制分发设备。它可以实时的同步远端主机和本地主机之间的数据,类似与Raid1的功能,我们可以将它看作为网络 Raid1。在服务器上部署使用DRBD,可以用它代替共享磁盘阵列的功能,因为数据同时存在于本地和远端的服务器上,当本地服务器出现故障时,可以使用远端服务器上的数据继原创 2014-09-25 18:13:25 · 726 阅读 · 0 评论 -
hadoop文件系统操作(2)
常见HDFS文件系统操作(1)ls操作,查看文件的状态原创 2014-06-19 09:38:38 · 555 阅读 · 0 评论 -
hadoop伪分布式搭建
闲话不多讲,主要为方便想学hadoop但没有多余机器的朋友原创 2014-06-15 22:34:36 · 551 阅读 · 0 评论 -
Java心跳消息的实现,hadoop的rpc基础(心跳篇)下一篇(rpc通信篇)
像现在的大型开源项目的源码,真的很值得认真原创 2014-06-01 15:30:07 · 1481 阅读 · 0 评论 -
hadoop任务提交过程
WordCountMapper:private final static IntWritable one = new IntWritable(1);@Overridepublic void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException原创 2015-06-14 22:30:01 · 2169 阅读 · 0 评论