Hadoop
文章平均质量分 71
大概是犬青
这个作者很懒,什么都没留下…
展开
-
hadoop——day5、6、7、8、9、10、11、12、13(MapReduce)
MapReduce1.概述定义:MapReduce是一个分布式运算程序的编程框架核心功能:将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。优缺点:优点:易于编程,它简单的实现一些接口,就可以完成一个分布式程序扩展性,增加机器计算高容错,比如其中一台机器挂了,它可以把上面的计算任务转移到另外一个节点上运行,不至于这个任务运行失败缺点:不擅长实时计算不擅长流式计算不擅长DAG计算核心思想...原创 2022-04-24 19:38:17 · 1839 阅读 · 0 评论 -
hadoop学习中:maven-assembly-plugin报红(没有加载对应的插件)
maven-assembly-plugin报红解决办法也很简单(就是插件没加载出来,你在上面手动增加依赖)另外需要注意的是:注意setting下maven环境要自己设置好(怎么配置?有手就行!)jdk版本要一致......原创 2022-04-24 19:36:19 · 2648 阅读 · 0 评论 -
hadoop学习中,1 error role: org.apache.maven.model.validation.ModelValidato... idea和maven版本不兼容
学习hadoop遇到的问题idea版本和maven版本冲突查看别人的解决方案:1 error role: org.apache.maven.model.validation.ModelValidator roleHint: ideidea用的是2021.3.1maven,3.8.5版本不兼容,降低maven版本,用3.5.4.如何下载旧版本的maven查阅Maven历史版本下载1)打开链接:https://maven.apache.org/2)点击download可以到最新版本 点击arc原创 2022-04-21 16:19:12 · 7092 阅读 · 0 评论 -
hadoop学习:mapreduce的wordcount时候,继承mapper没有对应的mapreduce的包
问题描述hadoop学习:mapreduce的wordcount时候,继承mapper没有对应的mapreduce的包1)首先setting设置:idea和maven版本不兼容会导致这个问题的!!(我不太清楚,但是我从maven3.8.5降低版本到3.5.4就可以使用了)2)其次是创建号maven文件后的pom.xml里面的依赖:3)写好之后在idea右侧Maven点开 刷新一下,多出Dependencies就可以了4)最终展示:这就是我要解决的问题打开idea自动更行maven这个开原创 2022-04-21 16:32:01 · 579 阅读 · 0 评论 -
hadoop——day4、5(HDFS)
HDFS1.HDFS概述1)HDFS定义HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。HDFS的使用场景:适合一次写入,多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。2)优缺点:优:高容错数据自动北方多个副本某个副本丢失,可以自动恢复适合大数据处理可以构建在廉价服务器上缺:不适合低延时数据访原创 2022-04-18 23:38:27 · 1876 阅读 · 0 评论 -
hadoop入门(最小安装版本) day123复习
虚拟环境的搭建硬件前提:安装了vm;有centos7镜像文件1.配母机hadoop111看图步骤:(对应的文字描述在图的上面)硬件然后,选择centos7,可能还可以选其他,但是我不太懂:起名字和选择位置:选择处理器有说法的:尚硅谷,我的电脑处理器是12;然后Hadoop学习至少需要三台服务器,加上windows一台总该四台;我个人而言: 12/4 = 3 最多分配三个。此处看个人电脑配置,我内核总数最多分配三个内存50G学习差不多,虽然是五十G,但是实际学习的时原创 2022-04-17 19:57:03 · 668 阅读 · 0 评论 -
hadoop——day1、day2、day3(Hadoop入门,包含Hadoop概述;虚拟机环境搭建;Hadoop运行模式等)
hadoop概述和环境搭建1. 基本概述是什么?答:解决海量数据的存储和分析计算问题优势?高可靠性(某个储存故障,数据不丢失)高扩展性(方便扩展服务器)高效性(并行工作)高容错性(自动分配失败的任务给其他)发展变化和区别:HDFSHDFS:分布式文件系统NameNode(nn):存储元数据(告诉别人存储在哪,存储了什么信息)Datanode(dn):具体存贮数据Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份YARNR原创 2022-04-11 17:11:27 · 1428 阅读 · 0 评论