![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 81
TheBiiigBlue
这个作者很懒,什么都没留下…
展开
-
Presto -- Trino391版本的集群部署
presto/trino原创 2022-07-27 14:35:06 · 869 阅读 · 0 评论 -
Phoenix-- 5.1.2部署安装
phoenix原创 2022-07-18 18:49:51 · 745 阅读 · 0 评论 -
HBase -- 2.4.13集群部署安装
hbase2.4.13原创 2022-07-18 17:18:53 · 620 阅读 · 0 评论 -
Hive -- Hive3.1.3在 hadoop3.2.1的部署安装
Hive 3.1.3原创 2022-07-14 18:36:34 · 1538 阅读 · 0 评论 -
Hadoop -- 2.7.x到2.10.0不停机滚动升级
向导1. 部署新版本hadoop2. 切换zkfc和journalnode3. 切换namenode4. 切换datanode5. 切换yarn6. 提交完成滚动升级1. 部署新版本hadoop在一个节点部署,并拷贝所有配置文件到新版本文件夹中分发到各个节点切换环境变量2. 切换zkfc和journalnode因为zkfc和journalnode不需要更新,所以直接将原服务停掉,启动新的zkfc和journalnode即可3. 切换namenode运行hdfs dfsadmin -ro原创 2021-03-18 16:02:54 · 864 阅读 · 0 评论 -
HBase -- 使用HBaseMiniCluster本地调试HBase
HBaseMiniCluster背景和介绍使用POM创建Endpoint创建测试类,使用MiniCluster调试问题解决背景和介绍 在测试HBase CDC时使用了HBase的Observer和Endpoint的协处理器,由于协处理器是运行在服务器端的,即regionserver上的代码,每次测试协处理器时需要打包到服务器,卸掉再重新关联协处理器,非常麻烦,且一旦出错也不可调试。 为了方便开发人员,HBase以及其它Hadoop组件提供了Mini Cluster的运行方式:在一个JVM里模拟运行原创 2021-02-19 10:15:34 · 512 阅读 · 1 评论 -
HBase -- HBase CDC调研
向导HBASE CDC1.1 WAL简介1.2 解析WAL日志发送kafka1.3 通过Observer协处理器获取cdc数据发送kafka1.4 通过Endpoint协处理器获取cdc数据发送kafka1.5 POC结果1.6 结论HBASE CDC1.1 WAL简介 HBase的Write Ahead Log (WAL)提供了一种高并发、持久化的日志保存与回放机制。每一个业务数据的写入操作(PUT / DELETE)执行前,都会记账在WAL中。 如果出现HBase服务器宕机,则可以从WAL中原创 2021-02-04 22:07:08 · 1714 阅读 · 7 评论 -
HBase -- 集群部署安装
向导环境准备安装环境准备 安装HBase需要:Jdk、Hadoop Cluster、Zookeeper Cluster,详情参考:Hadoop的分布式搭建,Hadoop的高可用HA搭建安装上传并解压:tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module修改hadoop-env.sh配置文件:export JAVA_HOME=/opt/module/jdk1.8.0_181export HBASE_MANAGES_ZK=false修改原创 2020-07-26 21:52:38 · 135 阅读 · 0 评论 -
Hive -- Hive面试题及答案(1)
小打卡面试题题目一:计算小打卡平台的圈主建了多少圈子,名下有多少用户已知,数据如下:tb_habit圈子表:数百万行数据user_habit_relation用户与圈子关系表:亿行数据需求:请用hive sql计算出如下结果(同一个圈主名下,同一个用户加多个圈子只计算一次):答案:SELECT a.`uid`, nvl(COUNT(a.log_id), 0) AS log_cn...原创 2020-04-22 16:45:45 · 1830 阅读 · 1 评论 -
Hive -- Hive1.2.1的部署安装
上传tar包,解压tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/安装hadoopHadoop的分布式搭建Hadoop的高可用HA搭建安装mysqlMySQL的安装(YUM安装)MySQL的安装(tar.gz文件安装)MySQL的安装(RPM文件安装)配置hive-env.shmv apache-hive-1...原创 2020-05-01 10:45:57 · 405 阅读 · 0 评论 -
Hive -- Hive基础
向导Hive架构原理数据类型基本数据类型集合数据类型排序全局排序(Order By)分区内部排序(Sort By)分区(Distribute By)Cluster By常用函数NVL: 为NULL的数据赋值时间函数CASE WHEN, if行转列collect_set, concat_ws列转行 explodeHive架构原理用户接口:ClientCLI(command-line int...原创 2020-05-01 11:24:55 · 432 阅读 · 0 评论 -
Hive -- Hive面试题及答案(3)
向导小打卡面试题题目一:计算小打卡平台的圈主建了多少圈子,名下有多少用户题目二:处理产品版本号题目三、计算平台用户留存小打卡面试题题目一:计算小打卡平台的圈主建了多少圈子,名下有多少用户已知,数据如下:tb_habit圈子表:数百万行数据user_habit_relation用户与圈子关系表:亿行数据需求:请用hive sql计算出如下结果(同一个圈主名下,同一个用户加多个圈子只计...原创 2020-05-01 15:12:56 · 1303 阅读 · 8 评论 -
Hive -- Hive优化
向导Fetch抓取本地模式表的优化小表、大表Join大表Join大表MapJoin(小表join大表)Group ByCount(Distinct) 去重统计笛卡尔积行列过滤动态分区调整合理设置Map及Reduce数复杂文件增加Map数小文件进行合并合理设置Reduce数并行执行严格模式JVM重用推测执行推测执行Fetch抓取 Fetch抓取是指,Hive中对某些情况的查询可以不必使用Map...原创 2020-05-04 10:19:10 · 256 阅读 · 0 评论 -
Hive -- Hive面试题及答案(2)
向导数据结构视频表用户表需求描述解答1. 统计视频观看数Top102. 统计视频类别热度Top103. 统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数4. 统计视频观看数Top50所关联视频的所属类别排序5. 统计每个类别中的视频热度,视频流量,观看数Top106. 统计上传视频最多的用户Top10以及他们上传的观看次数在前20的视频数据结构视频表用户表需求...原创 2020-05-04 14:30:06 · 1334 阅读 · 0 评论 -
Hive -- Hive面试题及答案(4)
向导1.需求描述解答2.需求描述解答2.需求描述解答1.需求描述解答# 通过group by 去重create table distinct_dayno_uid as select dayno, uid from act_user_info group by dayno, uid;//求周留存select dayno, resCnt, resCnt1, resCnt3, resCnt7, concat(round(resCnt1/resCnt, 2), '%') resRate1,原创 2020-05-12 15:59:10 · 667 阅读 · 0 评论 -
Hive -- Hive2.3.0的部署安装
向导1. 上传tar包,解压2. 安装hadoop3. 安装mysql4. 配置hive-site.xml5. 拷贝mysql驱动7. 启动hdfs,yarn8. 启动hive metastore,hiveserver2,hive1. 上传tar包,解压tar -zxvf apache-hive-2.3.6-bin.tar.gz -C /opt/module/2. 安装hadoopHadoop的分布式搭建Hadoop的高可用HA搭建3. 安装mysqlMySQL的安装(YUM安装)MySQ原创 2020-07-26 22:08:33 · 411 阅读 · 0 评论 -
Hive -- Hive2.3.0集成Tez
向导安装依赖1. 安装hadoop2. 安装hive安装Tez集成Tez问题2.6 GB of 2.1 GB virtual memory used. Killing container.安装依赖1. 安装hadoopHadoop的分布式搭建Hadoop的高可用HA搭建2. 安装hiveHive – Hive2.3.0的部署安装安装Tez下载tez的依赖包:http://tez.apache.org解压修改名称tar -zxvf apache-tez-0.9.1-bin.tar.gz原创 2020-08-13 23:11:24 · 426 阅读 · 0 评论 -
Hadoop -- Hadoop的高可用HA搭建
向导HA简介HA工作要点2.准备环境2.配置ssh,同步时间3.安装JDK4.安装Zookeeper4.安装Hadoop5.群起集群7.验证HA简介所谓HA(High Available),即高可用(7*24小时不中断服务)。实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。Hadoop2.0之前,在HDFS集群中NameNod......原创 2020-04-13 12:04:24 · 436 阅读 · 1 评论 -
Hadoop -- Hadoop的分布式搭建
向导1.准备环境2.配置ssh3.安装JDK4.安装Hadoop5.集群时间同步6.群起集群7.验证1.准备环境 以三台为例:1)准备3台客户机(关闭防火墙、静态ip、主机名称)2)安装JDK3)配置环境变量4)安装Hadoop5)配置环境变量6)配置集群7)配置ssh8)群起并测试集群2.配置ssh 参考:https://blog.csdn.net/Aeve_imp/...原创 2020-04-13 11:22:17 · 389 阅读 · 1 评论