![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Enche
这个作者很懒,什么都没留下…
展开
-
Hadoop——机架感知
Hadoop中副本在不同节点之间的复制需要消耗资源,为了充分发挥Hadoop的性能,Hadoop需要配置机架感知,这可以让Hadoop通过网络拓扑图计算不同节点之间的距离,因此来减少数据传输消耗的资源。 通过Hadoop官网我们知道,不配置机架感知,所有的都默认为/default-rack,可以通过命令hadoop dfsamin -printTopology来查看Hadoop的网络拓扑情况。 ...原创 2019-02-21 22:46:49 · 382 阅读 · 0 评论 -
Hadoop——namenode&secondary namenode
学习记录 namenode:主要是管理hdfs集群中的datanode,负责数据块的存储地址位置等,例如:Client上传文件时,namenode他会将该文件块在集群上将要存放的位置告知Client,然后Client得到地址信息后,将数据块上传至对应的位置。每次集群启动时,namenode都要加载fsimage和edtis日志,fsimage相当于namenode的快照,edits中保存着hdf...原创 2019-02-23 11:38:58 · 214 阅读 · 0 评论 -
Hadoop——使用secondary namenode数据恢复namenode
secondary namenode会定期将fsimage和edits从namenode上拉取进行合并,且在在secondary nemenode上有副本,当namenode节点损坏后,我们可以通过这些副本来还原一定程度上的namenode。 还原namenode有两种方法: 一、将secondary namenode上的数据复制到namenode上 二、使用 测试使用方法一进行恢复...原创 2019-02-23 17:38:08 · 1266 阅读 · 0 评论 -
Hadoop设置Checkpoint点条件
secondary namenode在合并namenode上的fsimage和edits的动作是达到某种条件时才会进行的,一般为到某个时间点或者操作次数达到某个特定的值时会进行checkpoint 在配置checkpoint条件时,需要在hdfs-site.xml进行设置 1、每隔3600秒执行一次 <property> <name>dfs.namenod...原创 2019-02-23 19:39:04 · 977 阅读 · 0 评论 -
Hadoop——使用java对HDFS文件进行增删改查
1、导入相关jar包。 将Hadoop目录下的share中的jar包导入到Eclipse 2、创建配置信息对象并通过FileSysem.get()回复文件系统对象 Configuration conf = new Configuration(); //URI对应的地址为core-site.xml中fs.defaultFS对应的地址 //“enche”是访问hdfs时的用户名 F...原创 2019-03-08 16:54:17 · 1068 阅读 · 0 评论 -
Hadoop——MapReduce过程
MapReduce由Mapper和Reucer组成,Mapper负责处理每行数据,Reducer处理相同Key的一组数据。 MapReduce运行是由Driver中的job通过submit()进行作业提交,submit()包含与集群建立连接和提交作业的过程,在提交作业时会进行切片,默认的切片方法是使用的TextInputFormat,它进行切片时根据文件的大小进行切割,默认切割规则是否达到...原创 2019-03-08 19:14:44 · 351 阅读 · 0 评论 -
Hadoop——Namenode HA搭建问题记录
记录一、 在搭建Namenode HA后,需要先启动journalnode,然后进行namenode format,在启动第二台namenode时需要先向元数据拉取到第二台namenode中,使用 hdfs haadmin -bootstrapStandby进行拉取,不然启动第二台namenode时会出现org.apache.hadoop.hdfs.server.common.Inconsist...原创 2019-03-10 14:07:39 · 293 阅读 · 0 评论