自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(102)
  • 资源 (1)
  • 收藏
  • 关注

原创 Spark 3.0.3 源码阅读及 idea 调试环境搭建

1, 源码下载:Downloads | Apache Spark2, 源码解压并编译:编译前建议在环境变量中添加以下参数export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=1g"tar -zxvf spark-3.0.3.tgzcd spark-3.0.3mvn -Pyarn -Phive -Phive-thriftserver -Dhadoop.version=3.3.0 -DskipTests cle..

2022-04-12 14:04:27 2754

原创 Flink ① <概述>特点,应用场景,组成,处理模型,选型 <快速应用> Java及Scala版WCount <体系结构>角色,架构 <安装部署>StandAlone 模式

目录第一部分 Flink 概述第 1 节 什么是 Flink第 2 节 Flink 特点第 3 节 Flink 应用场景3.1 事务型处理3.2 分析型处理第 4 节 Flink 核心组成及生态发展4.1 Flink核心组成4.2 Flink生态发展第 5 节 Flink 处理模型:流处理与批处理第 6 节 流处理引擎的技术选型第二部分 Flink快速应用第 1 节 单词统计案例(批数据)1.1 需求1.2 代码实现第 2 节 单词统计案例(流

2021-11-23 16:17:17 1756

原创 ELK ② 索引, 创建, 查看, 删除, 分词器安装及使用, 映射, 创建, 查看, 修改,文档,增删改查及局部更新

3 管理索引第1节 索引操作(创建、查看、删除)1. 创建索引库Elasticsearch采用Rest风格API,因此其API就是一次http请求,你可以用任何工具发起http请求语法PUT /索引名称{"settings": {"属性名": "属性值"}}settings:就是索引库设置,其中可以定义索引库的各种属性 比如分片数 副本数等,目前我们可以不设置,都走默认示例PUT /lagou-company-index可以看到索引创建成功了。..

2021-10-26 18:30:19 1848

原创 ELK ① ElasticSearch 介绍,安装,配置, Kibana 介绍,安装,配置

目录1 ElasticSearch第1节 ELK1.1 集中式日志系统1.2 ELK 协议栈介绍及体系结构ElasticsearchLogstashKibana1.3 Elk整体架构1.4 参考文档第2节 Elasticsearch2.1 什么是ElasticSearch2.2 ElasticSearch使用案例2.3 ElasticSearch对比Solr2.4 Elasticsearch Single-Node Mode部署1. 环境准备2

2021-10-26 16:32:46 867

原创 Neo4j ③ 管理员操作, 备份恢复, 调优思路, 程序访问, 嵌入式, 服务器模式, Java 操作 Neo4j, 整合 SpringBoot

第四部分 Neo4j之Admin管理员操作4.1 Neo4j - 数据库备份和恢复 在对Neo4j数据进行备份、还原、迁移的操作时,首先要关闭neo4j数据备份到文件还原、迁移之前 ,关闭neo4j服务。操作同上重启服务注意,运行数据备份可能会警告WARNING: Max 1024 open files allowed, minimum of 40000 recommended. See the Neo4j manual1.编辑这个文件vi /etc/security/...

2021-10-19 14:45:38 445

原创 Neo4j ② CypherQL 简介,创建,匹配,返回,条件,删除,设置,排序,跳过,Limit,去重,函数,多深度关系节点,事务,索引,约束

第二部分 Neo4j CQL2.1 CQL简介CQL代表Cypher查询语言。 像关系型数据库具有查询语言SQL,Neo4j使用CQL作为查询语言。Neo4j CQL它是Neo4j图形数据库的查询语言。它是一种声明性模式匹配语言。它遵循SQL语法。它的语法是非常简单且人性化、可读的格式。常用的Neo4j CQL命令/条款如下:完成上面的语法 我们基于庆余年电视剧人物关系图片:2.2 CREATECREATE (name:label{k1:v1, ..., ...

2021-10-18 11:44:23 1073

原创 Neo4j ① <图论>图,节点,关系,属性<知识图谱和图库>图谱,图库,优势<基础>模块,应用场景,环境搭建,浏览器

第一部分 图 和 Neo4j1.1 图论1.1.1 图论起源 --- 柯尼斯堡(Konigsberg)七桥问题众所周知,图论起源于一个非常经典的问题——柯尼斯堡(Konigsberg)七桥问题。1738年,瑞典数学家欧拉( Leornhard Euler)解决了柯尼斯堡七桥问题。由此图论诞生,欧拉也成为图论的创始人。欧拉把问题的实质归于"一笔画"问题,即判断一个图是否能够遍历完所有的边(Edge)而没有重复,而柯尼斯堡七桥问题则是一笔画问题的一个具体情境。欧拉证明这个问题不成立。满.

2021-10-16 15:43:12 2312

原创 2.4.4.1 MybatisPlus, CRUD 基础及扩展,主键生成策略,自动填充,乐观锁,分页查询,逻辑删除,性能分析,条件构造器,代码自动生成器

MyBatisPlus概述需要的基础:把我的MyBatis、Spring、SpringMVC就可以学习这个了!为什么要学习它呢?MyBatisPlus可以节省我们大量工作时间,所有的CRUD代码它都可以自动化完成!JPA 、 tk-mapper、MyBatisPlus偷懒的!简介是什么? MyBatis 本来就是简化 JDBC 操作的!官网:https://mp.baomidou.com/ MyBatis Plus,简化 MyBatis !特性无侵入:只做增强不做改.

2021-08-06 18:41:19 686

原创 7.1.3 Python进阶 《函数》定义、调用,参数,返回值《面向对象》概念,类,实例,对象,属性,方法《模块、包》导入,自定义,常用内置:datatime,time,random,os,sys

第四部分 Python进阶 第一节 函数 在前面的学习过程中,我们已经接触了很多次函数,现在我们来好好的认识一下这个重要的小伙伴。函数就是一段可以重复调用的代码,在Python中函数是非常重要的概念,在编程中几乎无处不在。4.1.1...

2021-06-16 17:01:34 544

原创 7.1.2 Python数据结构《字符串》格式输出,下标切片,函数《元组》定义,操作,遍历《列表》定义,增删改查,函数,列表表达式《字典》定义,增删改查,遍历,函数《集合》定义,遍历,增删改查,函数

第三部分 数据结构 第一节 字符串 在任何一门编程语言中,字符串都是 基础、 重要的数据结构。前面我们已经学习过字符串的基本使用方法,现在继续深入的学习更多的知识。3.1.1 字符串的格式化输出...

2021-06-16 15:51:40 288

原创 7.1.1 Python安装介绍《变量》命名规则,关键字,赋值,销毁《数据类型》数值,字符布尔,空,类型转换《运算符》算术,赋值,比较,逻辑《流程控制》条件,循环,案例

Python编程基础 课程介绍课程目标通过本阶段的学习,使学员能够养成编程思维,掌握Python基础语法,能使用Python开发较为简 单的需求。课程内容Python语言介绍及环境安装 核心语法第一部分 Python入门 第一节 Python语言介绍1.1.1 为什么使用Python进行数据分析 数据分析本身是一份非常古老的工作,随着互联网、大数据的发展,现在人类每一年创造的数据量是之前人类历史的总和!传统的数据分析方法难以应对如此规模和丰富多变的数据。数据分析领域的两大编程

2021-06-15 18:03:44 836 4

原创 6.2.5 Spark Streaming 《概述》架构、优缺点《数据源》文件、套接字、RDD《转换》无状态、有状态(窗口/状态追踪)《输出》《整合Kfk》08接口、10接口、偏移量管理

大数据高速计算引擎Spark(下)【讲师:回灯】第三部分 Spark Streaming随着大数据技术的不断发展,人们对于大数据的实时性处理要求也在不断提高,传统的 MapReduce 等批处理框架在某些特定领域,例如实时用户推荐、用户行为分析这些应用场景上逐渐不能满足人们对实时性的需求,因此诞生了一批如 S3、Samza、Storm、Flink等流式分析、实时计算框架。Spark 由于其内部优秀的调度机制、快速的分布式计算能力,能够以极快的速度进行迭代计算。正是由于具有这样的优势,Spar

2021-04-25 15:47:11 682

原创 6.2.4 SparkSQL《Action》《Trans,类似RDD,存储,Slc,Whr,gBy,oBy,JOIN,集合,控制,窗口,内建》《语句,文件,UDF,HIVE》《原理》JOIN,解析过程

目录2.4 Action操作2.5 Transformation 操作与RDD类似的操作存储相关select相关where相关groupBy相关orderBy相关join相关集合相关空值处理窗口函数内建函数2.6 SQL语句2.7 输入与输出Parquet文件:json文件:CSV文件:2.8 UDF & UDAF1、UDF2、UDAF2.9 访问Hive第3节 Spark SQL原理2.1 SparkS

2021-03-07 13:25:31 520

原创 6.2.3 Spark《RDD高阶》序列化,依赖,持久,容错,分区,广播,累加,TopN《原理初》独立作业提交,洗牌原理,RDD优化《SQL概述》数据抽象,类型《SQL编程》SpkSes,DF&DS

大数据高速计算引擎Spark课程内容:MapReduce、Spark、Flink(实时) => 3代计算引擎;昨天、今天、未来MapReduce、Spark:类MR的处理引擎;底层原理非常相似;数据分区、map task、reduce task、shuffle第一部分 Spark Core第1节 Spark概述1.1 什么是SparkSpark是当今大数据领域最活跃、最热门、最高效的大数据通用计算引擎2009年诞生于美国加州大学伯克利分校AMP 实验室...

2021-03-07 13:20:24 636

原创 6.2.2 Spark Act触发《KVRDD》创建, 类似map,聚合(重要),排序,JOIN,ACT《输入出》文本,CSV,JSON,Seq,对象,JDBC《算子综合》词数,PAI,广告,共同好友

目录3.6 Action3.7 Key-Value RDD操作3.7.1 创建Pair RDD3.7.2 Transformation操作 1、类似 map 操作 2、聚合操作【重要、难点】 3、排序操作 4、join操作3.7.3 Action操作3.8 输入与输出3.8.1 文件输入与输出 1、文本文件 2、csv文件 3、...

2021-03-07 13:12:47 455

原创 6.2.1 Spark 《概述》意义,架构,部署模式《安装》本地,伪分布,集群(S/Y),开发环境《RDD编程》概述,RDD创建(集合/文件/RDD),转换子(宽/窄依赖)

大数据高速计算引擎SparkSpark Core -- 离线Spark SQL -- 离线、交互Spark Streaming -- 实时Spark GraphX -- 图处理Spark原理MapReduce、Spark、Flink(实时) => 3代计算引擎;昨天、今天、未来MapReduce、Spark:类MR的处理引擎;底层原理非常相似;数据分区、map task、reduce task、shuffle目录第一部分 Spark Core第1节 Spark概.

2021-03-01 21:08:39 562

原创 6.1.4 Scala 《集合》不/可变,Ls,Qu,Set,Map,转换《算子》遍历,展开,并算,归约,排序《隐式》转换/函数,参数/值《类型参数》泛型类/函数,协/逆变《Akka》Actor

目录第九部分 集合第1节 可变和不可变集合第2节 Seq元素序列2.1 List2.2 Queue第3节 Set第4节 Map第5节 集合常用算子5.1 遍历: map、foreach & mapValues5.2 展开: flatten & flatMap5.3 偏函数并行计算: collect5.4 归约: reduce5.5 排序: sorted sortwith & sortby第6节 与Java集合的转换第十部分

2021-02-27 21:21:02 328

原创 6.1.3 Scala《特质》接口实现,构造顺序,继承,order,《匹配/样例》模式/字符/串/守卫/类型/数组元组集合,Opt,《函数/抽象化》区分,匿名占位符高阶,闭包,柯里化,部分应用,偏函数

第六部分 特质第1节 作为接口使用的特质Scala中的trait特质是一种特殊的概念。首先可以将trait作为接口来使用,此时的trait就与Java中的接口非常类似。在trait中可以定义抽象方法,与抽象类中的抽象方法一样,只要不给出方法的具体实现即可。类可以使用extends关键字继承trait。注意:在Scala中没有implement的概念,无论继承类还是trait特质,统一都是extends。类继承trait特质后,必须实现其中的抽象方法,实现时可以省略overrid...

2021-02-27 21:13:14 259

原创 6.1.2 Scala 数组元组(变长,操作,算法,多维,元组), 类与对象(无参构造,自定义GS,Bean,构造器,对象(单例,伴生,app对象)), 继承(构造执行顺序,方法重写,类型检查转换)

目录第三部分 数组和元组第1节 数组定义第2节 变长数组第3节 数组操作第4节 常见算法第5节 多维数组第6节 元组及操作第四部分 类与对象第1节 类和无参构造器第2节 自定义getter和setter方法第3节 Bean属性第4节 构造器第5节 对象5.1 单例对象5.2 伴生类与伴生对象5.3 应用程序对象5.4 apply方法第五部分 继承第1节 继承的概念第2节 构造器执行顺序第3节 override方法重写第4

2021-02-26 19:48:45 459

原创 6.1.1 Scala 基础(概况, 环境,命名, 类型,类层次,值与变量,类型推断,操作符, 块与赋值, 输入/出, 插值器), 控制结构与函数(if,for, while, 函数,懒值,文件操作)

目录第一部分 Scala基础第1节 Scala语言概况1.1 Scala语言起源1.2 Scala语言特点1.3 为什么要学Scala第2节 环境准备2.1 Windows下环境配置2.2 IDEA环境配置2.3 Scala的REPL第3节 基础语法第4节 常用类型与字面量第5节 类层次结构第6节 值与变量&自动类型推断第7节 操作符第8节 块表达式和赋值语句第9节 输入和输出第10节 字符串插值器第二部分 控制结构和函数第

2021-02-26 19:44:58 424

原创 Error, return code 1..TezTask..Container is running beyond virtual memory limits. Killing container

执行简单查询, 数据仅39条, 报错接着在 /tmp/root 目录下查看 hive.log日志发现以下问题2021-02-13T15:33:03,851 ERROR [2ce7e458-f3ef-47d2-a8e1-c704fd56d96c main] exec.Task: Failed to execute tez graph.org.apache.tez.dag.api.SessionNotRunning: TezSession has already shut...

2021-02-13 15:55:22 371

原创 4.2.10 Kafka源码剖析, 阅读环境搭建, broker启动流程, topic创建流程, Producer生产者流程, Consumer消费者流程,

4.1 Kafka源码剖析之源码阅读环境搭建首先下载源码:http://archive.apache.org/dist/kafka/1.0.2/kafka-1.0.2-src.tgzgradle-4.8.1下载地址:https://services.gradle.org/distributions/gradle-4.8.1-bin.zipScala-2.12.12下载地址:https://downloads.lightbend.com/scala/2.12.12/scala-2.12.12.msi4

2021-01-30 20:30:54 593

原创 4.2.9 Kafka集群与运维, 应用场景, 集群搭建, 集群监控JMX(度量指标, JConsole, 编程获取, Kafka Eagle)

目录3.1 集群应用场景1消息传递2网站活动路由3监控指标4日志汇总5流处理6活动采集7提交日志总结3.2 集群搭建3.2.1 Zookeeper集群搭建3.2.2 Kafka集群搭建3.3 集群监控3.3.1 监控度量指标3.3.1.1 JMX3.3.1.2 使用JConsole链接JMX端口3.3.1.3 编程手段来获取监控指标3.3.2 监控工具 Kafka Eagle3.1 集群应用场景1消息...

2021-01-30 19:11:55 500 2

原创 4.2.8 Kafka 延时队列, 重试队列(结合redis实现)

4.2.8 Kafka 高级特性-延时/重试队列

2021-01-30 14:39:29 2259

原创 4.2.7 Kafka 稳定性, 事务, broker选举, 可靠性保证(失效副本, 副本复制),一致性保证(LEO, HW, Epoch), 消息重复场景及解决方案,consumer_offsets

4.2.7 Kafka 高级特性-稳定性

2021-01-29 20:06:57 1010

原创 4.2.6 Kafka 物理存储, 概述(LogSegment类别作用,日志/索引文件,切分),日志存储(偏移量/时间戳索引, 删除/压缩清理策略), 磁盘存储(零拷贝, 页缓存, 顺序写入)

4.2.6 Kafka 高级特性-物理存储

2021-01-28 14:48:58 1451

原创 4.2.5 Kafka 分区, 副本机制, 副本Leader选举, 分区重新分配, 自动再均衡, 修改分区副本, 分区分配策略(范围, 轮询, 黏性, 自定义)

4.2.5 Kafka 高级特性-分区

2021-01-27 17:11:18 707

原创 4.2.4 Kafka 主题, shell管理(创建, 查看, 修改, 删除), 增加分区, 副本分配, 必要参数, 客户端应用(创建,删除, 修改, 查看), shell偏移量管理

4.2.4 Kafka 高级特性-主题

2021-01-27 14:14:05 400

原创 4.2.3 Kafka 消费者, 概念, 消息接收(参数配置, 订阅,主题和分区, 反序列化,位移提交/管理, 再均衡,拦截器), 组管理(消费者组, 消费者位移, 位移管理, 再均衡)

4.2.3 Kafka 高级特性-消费者

2021-01-26 16:04:58 586

原创 4.2.2 Kafka 生产者, 数据生产流程, 参数配置, 序列化器, 分区器, 原理剖析, 生产者参数配置补充

Kafka 高级特性-生产者

2021-01-25 17:28:20 355

原创 4.2.1 Kafka 架构与实战, 介绍及优势, 应用场景, 基本架构, 核心概念, 单机安装配置, SpringBoot下实战, 服务端参数配置

Kafka第一部分 Kafka架构与实战1.1 概念和基本架构1.1.1 Kafka介绍Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多生产者、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是:日志收集系统和消息系统。Kafka主要设计目标如下:以时间复杂度为O(1)的方式提供

2021-01-22 21:04:30 441

原创 4.1.5 Redis经典问题,缓存(穿透, 雪崩, 击穿, 数据不一致, 数据并发竞争 , HotKey, BigKey), 分布式锁(watch乐观锁, setnx, Redisson)

Redis经典问题解析缓存问题缓存穿透一般的缓存系统,都是按照key去缓存查询,如果不存在对应的value,就应该去后端系统查找(比如DB)。缓存穿透是指在高并发下查询key不存在的数据,会穿过缓存查询数据库。导致数据库压力过大而宕机解决方案:对查询结果为空的情况也进行缓存,缓存时间(ttl)设置短一点,或者该key对应的数据insert了之后清理缓存。问题:缓存太多空值占用了更多的空间使用布隆过滤器。在缓存之前在加一层布隆过滤器,在查询的时候先去布隆过滤器查询 key 是否...

2021-01-21 18:26:47 787

原创 4.1.4 Redis高可用,主从复制(作用/原理/实现), 哨兵模式(配置部署/执行流程/), 集群与分区(意义,方式,一致性hash, 分片,slot),容灾

高可用方案“高可用性”(High Availability)通常来描述一个系统经过专门的设计,从而减少停工时间,而保持其服务的高度可用性。CAP的AAP模型单机的Redis是无法保证高可用性的,当Redis服务器宕机后,即使在有持久化的机制下也无法保证不丢失数据。所以我们采用Redis多机和集群的方式来保证Redis的高可用性。单进程+单线程 + 多机 (集群)1 主从复制Redis支持主从复制功能,可以通过执行slaveof(Redis5以后改成replicaof)或者在配...

2021-01-15 19:01:19 200

原创 4.1.3 Redis高级, 发布与订阅(频道,机制,使用),事物(命令,机制,弱事务性 ),Lua脚本(命令实现,脚本复制,区别),慢查询日志(设置,存,查,删,添,处理),监视器(monitor)

Redis高级1 发布与订阅Redis提供了发布订阅功能,可以用于消息的传输Redis的发布订阅机制包括三个部分,publisher,subscriber和Channel发布者和订阅者都是Redis客户端,Channel则为Redis服务器端。发布者将消息发送到某个的频道,订阅了这个频道的订阅者就能接收到这条消息。1.1 频道/模式的订阅与退订subscribe:订阅 subscribe channel1 channel2 ..Redis客户端1订阅频道1和频道...

2021-01-14 15:18:00 331 1

原创 4.1.2 Redis持久化, 原因, RDB方式(触发,原理,结构,优缺点), AOF方式(原理,保存模式,重写,触发方式, 混合持久化), RDB/AOF对比, 应用场景

目录Redis持久化1. 为什么要持久化2 RDB2.1 触发快照的方式配置参数定期执行命令显式触发2.2 RDB执行流程(原理)2.3 RDB文件结构2.4 RDB的优缺点3 AOF3.1 AOF持久化实现3.2 AOF原理3.2.1 命令传播3.2.2 缓存追加3.2.3 文件写入和保存3.3 AOF 保存模式3.4 AOF重写、触发方式、混合持久化3.4.1 重写过程分析(整个重写操作是绝对安全的):3.4.2 触发方式3

2021-01-13 19:25:10 256

原创 4.1.1 Redis基础,安装,数据类型及应用场景, 常用命令, 客户端Jedis, 缓存过期/淘汰策略, 删除策略, 淘汰机制LRU/LFU

缓存原理&设计缓存基本思想什么是缓存?缓存原指CPU上的一种高速存储器,它先于内存与CPU交换数据,速度很快现在泛指存储在计算机上的原始数据的复制集,便于快速访问。在互联网技术中,缓存是系统快速响应的关键技术之一以空间换时间的一种技术(艺术)缓存的使用场景DB缓存,减轻DB服务器压力一般情况下数据存在数据库中,应用程序直接操作数据库。当访问量上万,数据库压力增大,可以采取的方案有:读写分离,分库分表当访问量达到10万、百万,需要引入缓存。将已经访问过...

2021-01-12 17:12:22 838

原创 3.4.3 Azkaban 工作流调度系统, 概述, 安装部署, 使用(shell调度, job依赖, HDFS调度, MR调度, HIVE脚本调度)

⼯作流调度系统Azkaban第 1 节 概述1.1 ⼯作流调度系统⼀个完整的数据分析系统通常都是由⼤量任务单元组成:shell脚本程序 java程序 mapreduce程序 hive脚本等各任务单元之间存在时间先后及前后依赖关系,为了很好地组织起这样的复杂执⾏计划,需要⼀个⼯作流调度系统来调度任务的执⾏。假如,我有这样⼀个需求,某个业务系统每天产⽣20G原始数据,每天都要对其进⾏处理,处理步骤如下所示:通过Hadoop先将原始数据同步到HDFS上; 借助MapR...

2021-01-12 11:41:24 379

原创 3.4.2 HBase 简介,数据模型,架构,安装,shell操作,原理深入(读写流程),机制(刷写,合并,拆分,),API操作,协处理器,RK设计原则,热点,二级索引,布隆过滤器

第⼀部分 初识 HBase第 1 节 HBase 简介1.1 HBase是什么HBase 基于 Google的BigTable论⽂⽽来,是⼀个分布式海量列式⾮关系型数据库系统,可以提供超⼤规模数据集的实时随机读写。接下来,通过⼀个场景初步认识HBase列存储如下MySQL存储机制,空值字段浪费存储空间如果是列存储的话,可以这么玩......rowkey:1 name:⼩明rowkey:1 age:23rowkey:1 job:学⽣rowkey:2 name :⼩红...

2021-01-08 21:26:26 7783

原创 3.4.1 Zookeeper 简介, 搭建, 数据结构监听机制,基本使用-命令行/客户端(创建读取更新删除),内部原理,实践(动态监听,分布式锁), Hadoop HA集群(HDFS,YARN)

1. Zookeeper简介1.1 Zookeeper是什么?Zookeeper 是一个分布式协调服务的开源框架。 主要用来解决分布式集群中应用系统的一致性问题,例如怎样避免同时操作同一数据造成脏读的问题。分布式系统中数据存在一致性的问题!!ZooKeeper 本质上是一个分布式的小文件存储系统。 提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。ZooKeeper 提供给客户端监控存储在zk内部数据的功能,从而可以达到基于数据的集群管理。 诸如: ...

2021-01-04 20:08:18 464 2

原创 3.3 Impala 概述,特点, 安装部署 , 架构原理(impalad,statestored,catalogd), shell操作, sql语法, 导入数据, JDBC方式查询,负载均衡及优化

目录交互式查询⼯具Impala第 1 部分 Impala概述1.1 Impala是什么1.2 Impala优势Impala与Hive对⽐1.3 Impala的缺点1.4 适⽤场景第 2 部分 Impala 安装与⼊⻔案例2.1 集群准备2.1.1 安装Hadoop,Hive2.1.2 准备Impala的所有依赖包2.2 安装Impala2.2.1 集群规划2.2.2 具体安装步骤2.3 Impala⼊⻔案例第 3 部分 Imapla的架构原理

2021-01-03 20:23:13 1894 1

学习经验分享所涉及到的java jar包myJar.7z

本博客中的学习经验分享所涉及到的java jar包, 包括SQL相关, JDBC相关, 各种数据库连接池工具类, 例如DBCP, C3P0, Druid等

2020-10-30

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除