大数据
TalesOV
这个作者很懒,什么都没留下…
展开
-
小白也能学会的MapReduce编程
小白也能学会的MapReduce编程 再议MapReduce 我们知道hadoop的核心有四大组件: HDFS MapReduce YARN Common HDFS:分布式存储系统 MapReduce:分布式计算系统 YARN: hadoop 的资源调度系统 Common: 以上三大组件的底层支撑组件,主要提供基础工具包和 RPC (远程过程调用,调用服务器的服务) 框架等 而MapRed...原创 2020-04-11 11:48:49 · 1952 阅读 · 0 评论 -
一文带你认识Hadoop
一文带你认识Hadoop 文章目录一文带你认识HadoopHadoop的作用与功能Hadoop的优点图解Hadoop体系结构图解HDFS体系结构图解MapReduce 简单来说,Hadoop就是存储海量数据和分析海量数据的工具,是一种在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架,并且是以一种可靠、高效、可伸缩的方式进行处理的,其核心部件是HDFS与MapReduce。 HDFS...原创 2020-03-20 23:04:05 · 2097 阅读 · 0 评论 -
一文带你了解什么是大数据
一文带你了解什么是大数据 文章目录一文带你了解什么是大数据首先大数据体现在数据大那么,这些庞大的数据都来自哪里?大数据的特征是什么?Volume—数量大Velocity—速度快Variety—多样化Value—价值大数据能做什么?大数据是一种新的能力大数据的应用小结大数据与相关技术的爱恨情仇从数据库到大数据数据规模数据类型模式(Schema)和数据的关系处理对象大数据与云计算硬币的正反面目标不一致...原创 2020-03-20 16:49:55 · 1374 阅读 · 0 评论 -
使用云服务器搭建hadoop完全分布式启动成功但是通过50070看不到主节点以外的datanode,解决方案
salve节点ID一致导致 datanode的VERSION里面有2个id是一模一样不能共存。datanodeUuid和storageID,每个节点的必须不同。而对于云服务器远程连接,主机名也不能一样如hadoop@ubuntu,hadoop@ubuntu改为hadoop@master,hadoop@node1。 防火墙端口导致 记住,如果要想远程连接云服务器的hadoop环境,9000端口不打开...原创 2020-03-12 23:32:49 · 1641 阅读 · 0 评论