![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
在下蔡江琪
这个作者很懒,什么都没留下…
展开
-
服务器搭建Hadoop(这里我用的是阿里云)
在阿里云搭建Hadoop,其实大部分都和在本地搭建Hadoop一样pick一下修改以下几个内容:1.在配置文件core-site.xml2.在服务器的/ect/hosts文件里面:3.在本机的hosts也要添:C:\Windows\System32\drivers\etc这里只需要添外网的ip4.最后就是在阿里云添加安全组 50010/50075...原创 2019-06-24 21:36:30 · 422 阅读 · 0 评论 -
nameNode管理元数据(metadata)的流程
一、NameNode启动时如何维护元数据:1、概念介绍:Edits文件:NameNode在本地操作hdfs系统的文件都会保存在Edits日志文件中。也就是说当文件系统中的任何元数据产生操作时,都会记录在Edits日志文件中。eg:在HDFS上创建一个文件,NameNode就会在Edits中插入一条记录。同样如果修改或者删除等操作,也会在Edits日志文件中新增一条数据。FsImage映像文...原创 2019-08-18 10:13:13 · 1904 阅读 · 0 评论 -
Secondary NameNode
浅析 Secondary NameNode(辅助namenode)在初学Hadoop时,有个让人疑惑的概念:Secondary NameNode,也叫辅助namenode。从命名看,好像是第二个namenode,用于备份主namenode,在主namenode失败后启动。那么,Secondary NameNode的作用是什么?是如何工作的?一,NameNodeHDFS集群有两类节点以管理...转载 2019-08-18 09:56:05 · 122 阅读 · 0 评论 -
Hadoop初体验--Hadoop伪分布式搭建
Hadoop的安装(Linux需要有jdk环境,这里就不加啰嗦了)1.下载Hadoop官网下载地址:https://www.apache.org/dist/hadoop/common/这里推荐使用的版本不用太高,本人使用的是2.7.6用xftp复制到Linux中,然后通过tar -zxvf 文件名.tar.gz 解压。2.配置环境变量在/etc/profile文件...原创 2019-06-23 10:23:50 · 156 阅读 · 0 评论 -
Yarn的配置
Yarn是什么?YARN(Yet Another Resource Negoitator 另一种资源协调者)是一个分布式的通用资源管理系统,其产生的原因是为了解决MapReduce框架的不足,在兼容旧版MapReduce框架的同时,提供了更好的扩展性、资源利用率以及用户灵活性YARN的基本思想是将JobTracker的两大主要功能:资源管理和Job调度/监控 拆分为两个单独的守护进程:一...原创 2019-06-23 11:53:35 · 743 阅读 · 0 评论 -
eclipse操作hadoop-对文件的简单操作
1.文件的编写运行后,如果文件存在,就直接写入内容,若是文件不存在,则创建一个文件package hdfsapi;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import java.util.Scanner;import org.apache.hadoop...原创 2019-06-23 13:28:46 · 861 阅读 · 0 评论 -
(hadoop错误)org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
在本地调试Hadoop的时候,踩坑跟吃饭一样,也是因为自己解决问题的能力不够一般正常的错误都是 Failed to locate the winutils binary in the hadoop binary path,这个只要把hadoop.dll和winutils.exe放入到Hadoop下的bin目录里就好了(这里要注意版本号的一致),然后再配一下环境变量,但是我在调完这个错的时候又踩...原创 2019-06-23 17:58:15 · 795 阅读 · 0 评论 -
使用MapReduce对文本里的单词计数
1.首先,我们先来导我们需要的包: G:\hadoop\hadoop-2.7.6\share\hadoop\mapreduce G:\hadoop\hadoop-2.7.6\share\hadoop\common G:\hadoop\hadoop-2.7.6\share\hadoop\mapreduce\lib G:\hadoop\hadoop-2.7.6\sha...原创 2019-06-23 18:17:25 · 1979 阅读 · 0 评论 -
(Mapreduce运行文件报错)com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$Text
因为粗心的犯的错~这里就是导Text的包的时候,因为粗心而导错了包把这个包替换成这个所以编程的时候要小心小心再小心原创 2019-06-24 21:27:16 · 334 阅读 · 1 评论 -
hdfs的四大机制和文件上传下载
四大机制:(1)心跳机制: 介绍: hdfs是主从架构,所有为了实时的得知dataNode是否存活,必须建立心跳机制,在整个hdfs运行过程中,dataNode会定时的向nameNode发送心跳报告已告知nameNode自己的状态。 心跳内容: - 报告自己的存活状态,每次汇报之后都会更新维护的计数信息 - 向nameNode汇报自己的存储的block列表信息...转载 2019-08-18 10:49:52 · 209 阅读 · 0 评论