- 博客(22)
- 收藏
- 关注
RSS订阅原创 大数据集群搭建（连载版）--Hive高可用搭建
toRANDOMorSEQUENTIALRANDOMSEQUENTIAL存在两种模式RANDOM和SEQUENTIALRANDOM是在配置的uris列表中随机选中一个metastore作为对外开放的元数据服务，SEQUENTIAL则是尝试从列表的第一个开始连接，连接正常的作为对外开放的元数据服务部署Hive在安装前需要先安装外部存储元数据数据库，一般情况下使用mysql作为元数据数据库（部署方式略），并创建对应hive数据库用户及数据库，并将的驱动放入${HIVE_HOME}/lib目录下。
2023-05-08 15:03:43
483
原创 大数据集群搭建（连载版）--Hadoop高可用部署
结合上篇文章【大数据集群搭建（连载版）–集群规划】继续来搭建Hadoop，其中包含HDFS、Yarn的部署。
2023-05-04 09:24:37
143
原创 高可用大数据集群搭建--集群规划
Zookeeper：分布式协调服务，可以由单个或多个节点组成。在Zookeeper集群中，有一个节点作为Leader，其他节点作为Follower。Leader节点负责协调所有客户端请求，并将它们发送到相应的Follower节点进行处理。Zookeeper还支持数据发布/订阅和通知机制，可以通过监视节点上的变化来实现配置管理和同步。JournalNode：主要用于提供高可用性和容错性支持。
2023-04-26 15:18:05
277
2原创 KafkaManager（CMAK）二进制安装
## 一、安装包准备测试环境（单机，无安全认证）操作系统版本CentOS Linux release x86_647.5.1804 (Core)测试软件版本软件版本zookeeper3.7.0kafka2.4.0cmak3.0.0.5jdk11.0.12版本要求zookeeper需要在3.5.0以上版本kafka版本Kafka 0.8.. or 0.9.. or 0.10.. or 0.11…cmak版本3.0.0
2021-11-15 18:06:08
2092
原创 MySQL高可用自动故障恢复笔记（MHA）
一、MHA架构MHA 可以在几秒钟内完成故障转移（9-12 秒检测 master 故障，可选 7-10 秒关闭 master 机器以避免裂脑，几秒钟将差分中继日志应用到新 master，因此总停机时间为一般10-30秒），只要slave不严重延迟复制。在恢复新的 master 后，MHA 并行恢复其余的 slave。即使你有几十个slave，也不影响master恢复时间，你可以很快恢复slave。在 150 多个 {master, slaves} 环境中使用 MHA。当其中一个主节点崩溃时，MHA
2021-09-27 16:47:02
802
原创 笔记 - Kubeadm部署k8s集群
Kubeadm部署k8s集群一、环境准备主机名系统版本DockerKubenetesmasterCentOS Linux release 7.2.1511 (Core)18.03.1-cev1.18.3slave1CentOS Linux release 7.2.1511 (Core)18.03.1-cev1.18.3slave2CentOS Linux release 7.2.1511 (Core)18.03.1-cev1.18.3二、操作系
2021-08-14 14:09:13
235
原创 数据仓库、数据集市、数据湖、数据中台介绍
数据仓库概念数据仓库是一个功能性的概念，主要是面向主题、集成、相对稳定、能够反应历史变化的数据集合，支持管理中的决策制定，主要面向分析型数据处理介绍数据仓库是由多个数据源的有效集成，集成后按照主题进行重组，包含历史数据，一般情况下不会对数据仓库中的数据进行更改，多数据源集成主要是为了解决数据孤岛的问题，比如各个业务系统可能存在的地理位置、数据的存储格式、不通的商业平台（oracle、mysql等），编程语言（java、scala）等各方面，数据无法共享，数据仓库建设的主要工作是将他们所需要的格式提取
2021-06-03 15:36:08
729
原创 Linux通过二进制文件安装RabbitMQ
Linux通过二进制文件安装RabbitMQ介绍RabbitMQ版本包括适用于Linux，MacOS和* BSD系统的二进制软件包。它是极简主义的，对于如何安装，配置和管理它没有意见。在无法使用更多自觉的安装选项（Debian或RPM软件包，Homebrew，BSD端口）的环境中，建议使用此软件包。这也是在开发环境中在同一台计算机上运行多个版本的最方便的选择，例如预览发布测试。Windows有一个单独的二进制包。此案例版本对照表RabbitMQErLangSystemVersion
2021-05-14 14:05:45
1130
原创 本地rpm包目录制作yum源
本地rpm包目录制作yum源下载所有所需的安装包# 查看依赖包列表yum deplist openssl# 仅下载包但不安装 下载目录为/opt/opensslyum install openssl-devel --downloadonly --downloaddir=/opt/openssl在服务器无法连接外部网络的情况下，需要在互联网上下载好rpm对应的软件包以及软件依赖包制作本地repo需要依赖于httpd服务以及createrepo，即我们需要安装httpd、createre
2021-05-14 13:54:37
834
原创 HBase BulkLoad原理以及流程
Bulkload的原理和流程HBase底层存储是以HFile文件存储在磁盘上1、根据HDFS的数据或者外部的数据生成HBase底层的数据格式HFile文件2、根据生成目标HFile，利用HBase提供的Bulkload工具将HFile移动（或加载）到HBase目录下bulkLoad主要是将数据编写成HFile的形式，批量加载到HBase中，具有优于其他数据提取机制的优点，此操作完全绕过写入路径优缺点：① 数据可以立即呗hbase使用，但是会对集群造成额外的负载和延迟② BulkLoad操作不
2021-04-09 15:37:01
2414
翻译 JVM基础知识
JVM基础知识1Java虚拟机（JVM）及其体系结构JVM介绍Java虚拟机是提供运行时环境以驱动Java代码或应用程序的引擎。它将Java字节码转换为机器语言。JVM是Java运行环境（JRE）的一部分。在其他编程语言中，编译器为特定系统生成机器代码。但是，Java编译器会为称为Java虚拟机的虚拟机生成代码。JVM的工作方式首先，将Java代码编译为字节码。该字节码在不同的机器上被解释在主机系统和Java源代码之间，字节码是一种中间语言。JVM负责分配内存空间。JVM架构了解JVM的
2020-08-03 15:52:23
272
原创 MySQL InnoDB锁分类及介绍
锁类型 InnoDB。共享锁和排他锁InnoDB实现标准的行级锁定，其中有两种类型的锁： 共享（S）锁和排他（X）锁。共享锁（S）允许持有锁读取行的事务。独占锁（X）允许持有锁，更新或删除行的事务。如果事务T1持有行锁 S锁，则来自某些不同事务T2 的对行锁的请求将按以下方式处理：可以立即批准T2一个 S锁请求。其结果是，无论是T1与T2 持有S的锁。通过请求T2一个 X锁不能立即授予。如果某个事务在行上具有排T1他（X）锁，则不能立即批准某个不同事务T2对任一类型的锁请求。相反，事
2020-07-30 14:22:16
195
转载 Java锁分类
Java存在的锁：公平锁/非公平锁可重入锁独享锁/共享锁互斥锁/读写锁乐观锁/悲观锁分段锁偏向锁/轻量级锁/重量级锁自旋锁上面是很多锁的名词，这些分类并不是全是指锁的状态，有的指锁的特性，有的指锁的设计，下面总结的内容是对每个锁的名词进行一定的解释。公平锁/非公平锁公平锁是指多个线程按照申请锁的顺序来获取锁。非公平锁是指多个线程获取锁的顺序并不是按照申请锁的顺序，有可能后申请的线程比先申请的线程优先获取锁。有可能，会造成优先级反转或者饥饿现象。对于Java ReentrantL
2020-07-30 13:29:19
85
原创 hive基础介绍
HIVECREATE TABLECREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) [(col_name data_type [column_constraint_specification] [COMMENT col_comment], ... [constraint_specificat
2020-07-30 13:26:45
1862
原创 Ubuntu18.04 LST 配置国内源
添加以下内容到source.listdeb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restrict
2020-07-29 10:33:25
650
转载 Hive（on spark）优化
Hive本身将SQL转化为M/R执行任务1、列裁剪hive.optimize.cp=true（默认值为真）Hive 在读数据的时候，可以只读取查询中所需要用到的列，而忽略其它列。2、分区裁剪hive.optimize.pruner=true（默认值为真）可以在查询的过程中减少不必要的分区。将分区条件条件放入子查询中更为高效，可以减少读入的分区 数目。 Hive 自动执行这种裁剪优化。3、JOIN操作优化在编写带有 join 操作的代码语句时，应该将条目少的表/子查询放在 Join 操作符.
2020-07-29 10:29:45
3440
原创 大数据学习之Hadoop无HA环境搭建（单机版）
大数据学习之Hadoop无HA环境搭建（单机版）标签（空格分隔）： hadoop 大数据准备Hadoop安装包（版本：hadoop-2.7.3）下载地址 Apache Soft：http://archive.apache.org/dist/官方文档：https://hadoop.apache.org/docs/r2.7.3/#解压安装包并指定目录tar -zxvf hadoop-2.7.3.tar.gz -C /opt/soft/hadoop解压完成后需要到到hadoop目录下修改配置文件
2020-05-29 15:38:13
270
原创 Spark关键参数解释
spark historyserver参数注意：以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS，以spark.eventLog开头的配置在spark-defaults.confspark.history.fs.update.interval 默认值10秒这个参数指定刷新日志的时间，更短的时间可以更快检测到新的任务以及任...
2020-05-28 00:43:50
841
原创 大数据学习之Zookeeper基础环境搭建（单机版）
大数据环境搭建各个服务版本（该系列搭建版本）linux系统环境准备Zookeeper配置zookeeper日志目录配置各个服务版本（该系列搭建版本）ServiceVersionDownload Linkscala2.11.12-java1.8.0_181-zookeeper3.4.11http://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/hadoop2.7.3http://archive
2020-05-28 00:40:27
167
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人