Big Data
lvpeng笨笨
这个作者很懒,什么都没留下…
展开
-
Zookeeper
关注博客:https://blog.csdn.net/Xgx120413学习Zookeeper相关的理论及实践。目录一、Zookeeper的相关介绍二、为什么要用到Zookeeper三、Zookeeper单机部署四、Zookeeper相关特性五、常用客户端及命令六、Zookeeper关于Jav...转载 2019-12-02 21:27:52 · 156 阅读 · 0 评论 -
MapReduce
什么是MapReduce?Mapreduce 是一个分布式运算程序的编程框架,是用户开发“基于 hadoop 的数据分析 应用”的核心框架。Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序,并发运行在一个hadoop 集群上Hadoop的四个组件HDFS:分布式存储系统MapReduce:分布式计算系统YARN: hadoop...转载 2019-12-02 20:57:16 · 119 阅读 · 0 评论 -
Hadoop(5.NN和2NN工作机制)
Hadoop(5.NN和2NN工作机制)HDFS中NN和2NN工作机制第一阶段:NameNode启动第二阶段:Secondary NameNode工作,w#pic_center =830x500HDFS中NN和2NN工作机制第一阶段:NameNode启动第一次启动NameNode格式化后,创建Fsimage和Edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。客户端...原创 2019-11-11 21:21:51 · 646 阅读 · 0 评论 -
Hadoop中的HDFS学习总结
博主自己学习hdfs的一些笔记,整理了一下(有什么不懂的可以问我。尽量解答,希望对大家有帮助)Hadoop组成Hadoop HD...转载 2019-11-11 19:11:53 · 336 阅读 · 0 评论 -
HDFS读写流程
文件的写入过程这里的FSDatainputStream改成outputstream第一步:客户client 发送文件上传的请求给NameNode,NameNode去检查目标文件是否存在,父目录是否存在,返回是否上传第二步:接受指令 , 给NameNode发送Block1可以传输到datanode的那些...转载 2019-11-11 18:37:17 · 90 阅读 · 0 评论 -
Hadoop(4.HDFS读写)
Hadoop(4)HDFSHadoop 使用场景优点缺点Hadoop 读写流程写的过程读的过程,w#pic_center =830x500HDFSHadoop Distributed File System Hadoop分布式文件系统Hadoop 使用场景适合一次写入,多次读出的场景,不支持数据的修改,适合做数据分析优点高容错性(数据多副本,一个副本丢失可自动恢复)适合处理大数...原创 2019-11-06 22:31:13 · 121 阅读 · 0 评论 -
Hadoop的API操作
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...转载 2019-11-06 22:01:47 · 169 阅读 · 0 评论 -
hadoop的shelll操作
文章目录1.基本语法2.命令大全1.基本语法bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令...转载 2019-11-06 20:05:15 · 90 阅读 · 0 评论 -
Hadoop(3)
Hadoop(3)YARN架构MapReduce架构大数据技术生态体系YARN架构MapReduce架构大数据技术生态体系图中涉及的技术名词解释如下:1)Sqoop:Sqoop是一款开源的工具,主要用于在Hadoop、Hive与传统的数据库(MySql)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL,Oracle 等)中的数据导进到Hadoop的HDFS中,也可以将H...原创 2019-10-29 22:33:10 · 133 阅读 · 0 评论 -
Hadoop(2)
Hadoop(2)分布式存储和运算框架大数据的具体应用hadoop中有3个核心组件:hdfs:分布式文件系统hdfs的工作机制:友盟+分布式处理海量数据的核心技术:海量数据存储:分布式海量数据运算:分布式分布式操作系统:底层是集群做存储计算任务,但是展现给用户时,会有一层分装,用户感知到的就是普通的操作系统存储和运算框架存储框架:HDFS——分布式文件存储系统(文件)HBASE...原创 2019-10-23 18:41:48 · 180 阅读 · 0 评论 -
Hadoop(1)
Hadoop(1)ESXiCygwin去IOEGoogle-搜索算法(倒排索引)Google-PageRank计算问题Hadoop的架构1、Namenode:2、Secondary Namenode:3、DataNode:4、JobTracker:5、TaskTracker:6、Master与SlaveESXiESXi专为运行虚拟机,最大限度降低配置要求和简化部署而设计。只需几分钟时间,客户便...原创 2019-10-21 22:14:01 · 118 阅读 · 0 评论