![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
菜鸟也学大数据
这个作者很懒,什么都没留下…
展开
-
JournalNode的作用
原文地址:点击这里JournalNode的作用NameNode之间共享数据两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JournalNodes中的变更信息,并且一直监控editlog的变化,把变化应用于自己的命名空间。standby可以确保在集群出错时,命名空间状态已经完全同步了。...原创 2020-12-09 17:28:33 · 1843 阅读 · 0 评论 -
Hadoop运行原理总结
Hadoop运行原理本篇将记录笔者学习hadoop有关的原理总结,将持续更新…一.HDFS该部分选自HDFS特性和常用功能基本特点高容错性,高吞吐量,适用于海量数据的可靠性存储和数据归档,对硬件性能要求低HDFS设计目标硬件失效将硬件失效看作一种常态,健壮性,高可用.检查错误,快速和自动恢复是核心架构流式访问允许通过流的方式访问数据集,批量处理非交互,高吞吐量访问非低延迟大数据集支持PB级数据量,具有高带宽,可扩展到集群中简单一致性模型一次写入,多次读取,文件创建后无须原创 2020-09-28 00:01:10 · 2409 阅读 · 0 评论 -
用JAVA实现MapReduce
这里的MapReduce实现的是分词计数pom.xml文件版本号需要跟你自己安装的hadoop版本号一样hadoop-commonhadoop-hdfshadoop-authhadoop-clienthadoop-mapreduce-client-corehadoop-mapreduce-client-jobclient<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.ap.原创 2020-09-18 09:31:36 · 2538 阅读 · 0 评论 -
用JAVA现实Hadoop任务
一.JAVA部分maven需要提前自行安装第一步:使用idea新建maven项目第二步:填入项目名/包名第三步:选择自己maven的安装路径第四步:选择项目存放位置,最后finish第五步:右下角会有个弹框选择第六步:在项目列表选择pom.xml第七步:修改pom.xml文件(修改完后版本号字体会是红色,右下角会有下载进度条,等待完成即可)如何该部分遇到问题,可能是下载没成功,可以根据错误提示查找处理方法<?xml version=原创 2020-09-15 17:09:48 · 335 阅读 · 0 评论 -
Hadoop高可用配置
1原创 2020-09-15 13:22:24 · 174 阅读 · 0 评论 -
Hadoop的集群配置
Hadoop集群配置第一步:vi etc/hadoop/hdfs-site.xml //配置hdfs-site.xml文件<configuration> <property> <name>dfs.replication</name> #修改集群数量 <value>3</value> </property>原创 2020-09-12 21:39:26 · 141 阅读 · 0 评论 -
Hadoop启动后在进程中没有Datanode的解决方法
问题简述这个问题是因为data中的clusterID与name中的clusterID不一致解决方法第一步:vi etc/hadoop/hdfs-site.xml //查看hdfs-site.xml文件,找到namenode与datanode的所属路径第二步:vi /opt/hadoop/data/namenode/current/VERSION //打开namenode路径下的current/VERSION文件,复制其中的clusterID第三步:vi /opt/hadoop/da原创 2020-09-12 00:43:07 · 4189 阅读 · 5 评论 -
Hadoop的安装与配置(一)
Hadoop的安装与配置安装版本:hadoop-2.6.0-cdh5.14.2.tar.gz第一步:tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /指定解压路径第二步:vi /etc/profile //配置环境变量export HADOOP_HOME=hadoop路径export HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport原创 2020-09-09 16:40:01 · 264 阅读 · 0 评论