大数据
ldd儆儆
这个作者很懒,什么都没留下…
展开
-
Hbase 过滤器
https://blog.csdn.net/qing_gee/article/details/102781522原创 2019-11-01 19:14:11 · 320 阅读 · 0 评论 -
Hadop之Hdfs概述介绍
1.Hdfs概述1.hdfs是hadoop生态圈中甚至大数据生态圈必不可少的一个组件。hdfs 是Hadoop Distribute File System 简称。最为最为底层的分布式存储服务而存在。2.其设计思想是采取“分而治之”的思想:将大文件,大批量文件,分布式存放在大量服务器上,以便于分而治之对这些文件进行运算分析。设计目标:1**.故障检测及快速恢复**。Hdfs是有成千上万...原创 2019-03-16 10:33:48 · 223 阅读 · 0 评论 -
Mapreduce本地提交debug源码剖析
首先进入job.waitForCompletion由于job状态已经被定义,所以直接进入submit方法1.进入submit方法: public void submit() throws IOException, InterruptedException, ClassNotFoundException { //再次确认job状态 this.ensureS...原创 2019-03-22 08:43:06 · 320 阅读 · 0 评论 -
Hdfs的shell操作
发原创 2019-03-16 15:31:12 · 267 阅读 · 0 评论 -
Hdfs工作机制之读写操作详解
Hdfs的写操作:1.客户端向namenode发出请求准备上传文件2.NameNode接受请求,并进行判断目标文件是否存在,3.namenode向客户端发出可以是否传的信息4.客户端则发送block1 ,6. namenode判断出可以进行存储的3个datanode,(默认3个副本)7.客户端向namenode指定的最近的datanode发出发送数据和建立pipeline的请求。...原创 2019-03-16 20:52:24 · 296 阅读 · 0 评论 -
Hdfs之剖析NameNode
NameNode在hdfs当中发挥了重要角色,可以说,无NameNode,无Hdfs。NameNode主要有俩个作用:1.与客户端进行交互2.维护目录树即元数据的管理一. 元数据管理namenode对数据的管理采用了三种存储形式:----a内存元数据(NameSystem)----b磁盘元数据镜像文件----c数据操作日志文件(可通过日志运算出元数据)1.元数据存储机制1....原创 2019-03-17 17:15:11 · 1013 阅读 · 0 评论 -
Hdfs剖析值DataNode
1.工作机制原创 2019-03-19 10:51:14 · 136 阅读 · 0 评论 -
Hbase简介及各个组件介绍
一.Hbase简介我们目前所使用的数据库类型主要有两种,关系型数据库,和非关系型数据库。关系型数据库,我们之前可能会有所了解,如mysql,oracle,sqlserver等。今天我们所要介绍的而是属于另外一种非关系型数据库 ,非关系型数据库也许多,如Mongdb,redis,Hbase等。今天主要介绍一下Hbase!1.为什么使用Hbase?尽管已经有许多数据存储和访问的策略方法,但是...原创 2019-04-12 18:02:50 · 2432 阅读 · 0 评论 -
Spark概述
一.什么是SparkSpark是一种快速,通用,可扩展,并基于内存迭代运算的大数据分析引擎。2009年诞生于加州大学伯克利分校AMPLab2013年6月成为Apache孵化项目2014年2月成为Apache顶级项目。该项目采用Scala编写目前,Spark生态系统已经发展成为有用众多子项目的生态圈,类似于Hadoop。SparkSQL 、Spark Streaming ,、Gra...原创 2019-04-14 11:21:35 · 154 阅读 · 0 评论 -
Haddop开篇一
as原创 2019-03-07 16:04:57 · 202 阅读 · 0 评论