hadoop生态圈
文章平均质量分 58
不忘初心$$
勿忘写代码的初衷
展开
-
hive错误 Required field 'client_protocol' is unset! Struct:TOpenSessionReq(client_protocol:null, confi
任意位置使用beeline启动hive,hive启动报错信息如下19/11/28 15:01:38 ERROR HiveConnection: Error opening sessionorg.apache.thrift.TApplicationException: Required field 'client_protocol' is unset! Struct:TOpenSessionRe...原创 2019-11-28 15:38:03 · 3607 阅读 · 0 评论 -
图解HDFS的读写流程
HDFS读写流程HDFS的简介HDFS是Hadoop Distribute File System 的简称,意为:Hadoop分布式文件系统。是Hadoop核心组件之一,允许使用简单的编程模型在大量廉价的机器上对大数据集进行处理,是作为最底层的分布式存储服务而存在。HDFS的写流程datanode先向namenode汇报自身情况,默认时间3s,如果超时,namenode就会认为dat...原创 2019-09-11 16:46:21 · 394 阅读 · 0 评论 -
MapReduce学习笔记
一.MapReduce的计算模型1 Mapreduce的思想MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想,而不是自己原创。Map负责“分”,即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小...原创 2019-09-25 14:53:55 · 235 阅读 · 0 评论 -
HDFS元数据管理机制
HDFS元数据管理机制1、 HDFS元数据HDFS的元数据分为内存元数据和元数据文件两类:分别存储在内存和磁盘上元数据概念:文件、目录自身的数据,例如文件名字,目录名,修改信息等等。文件记录的信息的存储相关的新,例如存储块信息,分块信息,副本个数等。用来记录HDFS的Datanode的信息,用于管理Datanode。 &n...原创 2019-09-29 00:30:29 · 644 阅读 · 0 评论 -
Hbase学习笔记(概念和搭建)
Hbase学习笔记1.hbase的基本介绍简介hbase是bigtable的开源java版本,是建立在hdfs之上,提供给高可靠性,高性能,列存储,可伸缩,实时读写的nosql的数据库系统,它介于nosql和RDBMS之间,仅能通过主键(row key)和主键range来检索数据,仅支持单行事务(可通过hive来实现多表join等复杂操作),主要用来存储结构化和半结构化的松散数据hbas...原创 2019-10-15 20:26:02 · 219 阅读 · 0 评论 -
azkaban工作流
Hadoop生态圈azkaban一、 工作流工作流简介 工作流(workflow),指""业务过程的部分或者整体在计算机应用环境下的自动化。是对工作流程及各操作步骤之间业务规则的抽象、概况描述。工作流解决的主要问题是:为了实现某个业务目标,利用计算机软件在多个参与者之间按照某种规约,自动的传递文档、信息、或者任务。其实也就...原创 2019-09-28 19:52:54 · 404 阅读 · 0 评论 -
Flume学习笔记
flume学习笔记1.1 什么是flume Flume是Cloudera提供的一个高可用的,高可靠的,分布式海量日志采集,聚合,以及传输的软件.核心思想是吧数据从数据源(source)采集过来,在将收集到的数据发送到指定的sink(目的地),为了保证数据传输成功,会在传输过程中将数据进行...原创 2019-09-25 17:36:31 · 92 阅读 · 0 评论 -
动物管理员--------Zookeeper
一. Zookeeper基本知识1.1. ZooKeeper概述Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理...原创 2019-09-10 00:33:10 · 285 阅读 · 0 评论