Supernova777-CSDN博客

原创大数据学习笔记整理之MapReduce工作原理

MapReduce主要分为三个阶段，Map阶段，Shuffle阶段，Reduce阶段。Map阶段：将输入的多个分片（Split）有Map任务以完全并行方式进行处理。一个分片对应一个map任务，在默认的情况下，分片的大小与HDFS中数据块（Block）大小一致，可以通过调整HDFS中block的大小来控制map的任务数量。每个Map任务对输入分片中的数据按照一定的规则解析成多个KV键值对，默认是把每一行文本内容解析成一个KV键值对，key为每一行的其实位置，即每一行的偏移量，value为本行的文本内容

2020-09-28 11:52:39 226

原创 HBase架构

了解HBaseHBase是一个高可靠性，高性能，面向列，可伸缩的分布式存储系统。HBase架构HBase采用Master/Slave架构搭建集群，由HMaster，HRegionServer，Zookeeper组成，讲数据存储在HDFS中。HMaster主要负责利用Zookeeper为HRegionServer分配HRegion。Zookeeper是一个高可靠，高可用，持久化的分布式协调系统。Client使用HBase的远程过程调用协议（Remote Procedure Call Protocol，

2020-09-21 23:08:37 109

原创 kafka 架构以及保证数据不丢失

kafka架构kafka基本组成kafka集群中生产者将消息发送给Topic命名的消息队列Queue中，消费者订阅发送以某个Topic命名的消息队列Queue中的消息。Broker：一台kafka服务器就是一个broker，一个集群中由多个broker组成，一个Broker可以容纳多个Topic，Broker和Broker之间是平级的。Topic：每条发送到Kafka集群的消息都属于某个主题，这个主题就称为Topic。Partition：一个Topic可以被分为多个Partition

2020-09-14 10:30:10 111

原创 hadoop yarn里面的基本架构

yarn的基本架构yarn的基本思想是讲JobTracker的资源管理和作业调/监控两大主要职能拆分为两个独立的进程：一个是全局的Resource Manager（RM），以及一个每个应用对应的Application Master（AM), Resource Manager（RM）和每个节点上的Node Manager（NM）组成了一个全新的通用操作系统，以及一个分布式的方法管理应用程序Resource Manager拥有系统所有应用分配资源的决定权，其中RM有一个可插拔的调度组件Scheduler

2020-09-02 22:58:35 340

原创 Mysql 存储过程

存储过程概念存储过程（Stored Procedure）是在大型数据库系统中，一组为了完成特定功能的SQL 语句集，它存储在数据库中，一次编译后永久有效，用户通过指定存储过程的名字并给出参数（如果该存储过程带有参数）来执行它。存储过程是数据库中的一个重要对象。在数据量特别庞大的情况下利用存储过程能达到倍速的效率提升存储过程结构CREATE [DEFINER = user] PROCEDURE sp_name ([proc_parameter[,...]]) [character

2020-08-24 10:48:43 71

原创 flume sources type支持类型

Avro Source参数配置Thrift SourceHttp SourceSpooling Directory Source

2020-07-20 13:28:32 225

原创 Kafka 主题以及生产者一些操作

主题管理创建主题kafka-topics.sh --create --zookeeper bigdata1:2181 --replication-factor 2 --partitions 3 --topic supernova以上就是创建了一个supernova主题改主题有两个副本三个分区删除主题kafka-topics.sh --delete --zookeeper bigdata1:2181 --topic supernova当delete.topic.enable 设置为fals

2020-06-23 21:16:30 405

原创 mybatis入门及案例

背景介绍MyBatis 是支持普通 SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis 消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis 使用简单的 XML或注解用于配置和原始映射，将接口和 Java 的POJOs（Plain Ordinary Java Objects，普通的 Java对象）映射成数据库中的记录。每个MyBatis应用程序主要都是使用SqlSessionFactory实例的，一个SqlSessionFactory实例可以通过SqlSessionF

2020-06-04 14:25:33 712

原创回文数 leetcode 初级算法

回文数 leetcode 初级算法题目要求 :判断一个整数是否是回文数。回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。例如1:输入 :123返回 :false例如2输入 323返回 true案例分析 :分析题目回文数是指正序和倒序都是一样的整数所以我们可以先把原来的数倒序在进行判断两个数是都是一样的废话少说直接上代码class Solution { public boolean isPalindrome(int x) { //定义

2020-05-25 22:43:52 110

qq_42687310的博客