BigData
闭关苦炼内功
微信公众号:码农coding
展开
-
退出 beeline
退出 beeline原创 2024-04-18 20:42:08 · 325 阅读 · 0 评论 -
Hive 中 sort by 和 order by 的区别
Hive 中 sort by 和 order by 的区别原创 2023-07-21 17:13:24 · 680 阅读 · 0 评论 -
Hive解析JSON串
Hive 解析 JSON 串原创 2023-07-21 17:09:05 · 422 阅读 · 0 评论 -
Hive内部表和外部表的区别
Hive内部表和外部表的区别原创 2023-07-21 16:51:48 · 900 阅读 · 0 评论 -
Yarn 的资源调度3种调度器模型
Yarn 的资源调度3种调度器模型原创 2023-07-21 16:37:22 · 345 阅读 · 0 评论 -
Yarn 的任务提交流程
Yarn 任务提交流程原创 2023-07-21 16:21:03 · 506 阅读 · 0 评论 -
Yarn 集群的架构和工作原理
Yarn 集群的架构和工作原理原创 2023-07-21 16:00:17 · 551 阅读 · 0 评论 -
Shuffle 阶段的数据压缩机制
Hadoop 当中支持的压缩算法:gzip、bzip2、LZO、LZ4、Snappy原创 2023-07-21 15:35:45 · 101 阅读 · 0 评论 -
HDFS 在上传文件的时候,如果其中一个 DataNode 突然挂掉了怎么办?
HDFS 在上传文件的时候,如果其中一个 DataNode 突然挂掉了怎么办?原创 2023-07-21 14:36:06 · 499 阅读 · 0 评论 -
HDFS 在读取文件的时候,如果其中一个块突然损坏了怎么办?
HDFS 在读取文件的时候,如果其中一个块突然损坏了怎么办?原创 2023-07-21 09:08:50 · 159 阅读 · 0 评论 -
常见大数据生态各组件各历史版本下载地址
常见大数据生态各组件各历史版本下载地址原创 2023-07-20 15:36:05 · 221 阅读 · 0 评论 -
华为鲲鹏920 aarch64 版本 Ambari HDP 下载地址
本文能够适配兼容 华为鲲鹏920 aarch64 版本,仅限 CentOS7、openEuler20.03-LTS 操作系统原创 2023-07-18 10:56:07 · 2242 阅读 · 1 评论 -
DolphinScheduler 1.3.9 海豚调度 安装部署教程
DolphinScheduler 海豚调度原创 2023-07-14 17:41:15 · 1199 阅读 · 0 评论 -
解决 Flume 日志报错 OOM GC 堆内存问题:java.lang.OutOfMemoryError: GC overhead limit exceeded
解决 Flume 日志报错 OOM GC 堆内存问题:java.lang.OutOfMemoryError: GC overhead limit exceeded原创 2023-07-06 14:04:37 · 316 阅读 · 0 评论 -
解决 Hive 日志报错 OOM GC 堆内存问题:java.lang.OutOfMemoryError: GC overhead limit exceeded
解决 Hive 日志报错 OOM GC 堆内存问题:java.lang.OutOfMemoryError: GC overhead limit exceeded原创 2023-07-06 13:56:30 · 807 阅读 · 1 评论 -
Hive 之 beeline 客户端连接
beeline原创 2023-06-30 14:44:12 · 676 阅读 · 0 评论 -
源码编译 DolphinScheduler 1.3.9 海豚调度,修改Hadoop、Hive组件版本兼容
源码编译 DolphinScheduler 1.3.9 海豚调度,修改Hadoop、Hive组件版本兼容原创 2023-06-23 01:01:34 · 1410 阅读 · 0 评论 -
DolphinScheduler1.3.9 web 页面 监控中心 Zookeeper 节点自检状态 异常 报黄色感叹号
DolphinScheduler1.3.9 web 页面 监控中心 Zookeeper 节点自检状态 异常 报黄色感叹号原创 2023-05-29 18:17:56 · 520 阅读 · 0 评论 -
大数据数仓常用端口号,防火墙放行需注意
大数据数仓常用端口号,防火墙放行需注意原创 2023-05-29 17:47:22 · 355 阅读 · 1 评论 -
Hive 加 cascade 强制删库
Hive不能删除含有表数据的数据库,要先将数据库中的表清空才能删,加cascade可强制删除原创 2023-05-29 17:44:12 · 188 阅读 · 0 评论 -
Hadoop 3.1.3 防火墙放行 hdfs yarn 关键端口
Hadoop3.1.3 安全系数要求高,不能关闭防火墙,所以需要开端口了原创 2023-05-19 20:10:30 · 493 阅读 · 0 评论 -
Nginx 配置 安全认证 反向代理 HDFS web 页面
Nginx 配置安全认证 反向代理 HDFS web 页面这样做的目的是:相对安全一些,之前都是直接“裸奔”经常被攻击很讨厌原创 2023-05-15 18:26:58 · 2167 阅读 · 2 评论 -
Supetset 初始化 3条命令
Supetset 初始化 3条命令原创 2023-05-15 11:29:18 · 397 阅读 · 0 评论 -
Hive 处理 13 位时间戳,得到年月日时分秒(北京时间)
Hive 处理 13 位时间戳,得到年月日时分秒(北京时间)使用 Hive 自带函数 将 13位 时间戳: 1682238448915 转成 今天的时间(北京时间),格式样例:'2023-04-23 16:27:28'原创 2023-04-23 18:57:02 · 2158 阅读 · 0 评论 -
解决 Deepin 20.8 配置 Scala 2.11 环境报错 java.lang.NumberFormatException: For input string: “0x100“
使用的是 Deepin 20.8 操作系统,JDK8环境,配置 Scala 开发环境报错:java.lang.NumberFormatException: For input string: "0x100"原创 2023-04-18 17:05:57 · 209 阅读 · 0 评论 -
尚大HQL-1_查询订单明细表(order_detail)中销量(下单件数)排名第二的商品id,如果不存在返回null,如果存在多个排名第二的商品则需要全部返回。
尚大HQL-1_查询订单明细表(order_detail)中销量(下单件数)排名第二的商品id,如果不存在返回null,如果存在多个排名第二的商品则需要全部返回。原创 2023-03-06 21:22:25 · 601 阅读 · 0 评论 -
大数据书单(100本)
大数据书单(100本)原创 2023-02-18 20:55:46 · 5517 阅读 · 0 评论 -
解决 Hadoop3.1.3 SecondaryNamenode 页面不能显示完整信息
解决 Hadoop3.1.3 SecondaryNamenode 页面不能显示完整信息原创 2023-01-31 19:52:10 · 332 阅读 · 0 评论 -
HDFS 退出 安全safe模式
HDFS 退出 安全safe模式原创 2022-12-27 13:59:24 · 154 阅读 · 0 评论 -
python 停止 EasyScheduler 调度 工作流任务 脚本分享
python 停止 EasyScheduler 调度 工作流任务 脚本分享原创 2022-12-27 13:38:18 · 153 阅读 · 1 评论 -
Namanode 高可用 主备节点切换
Namanode 高可用 主备节点切换原创 2022-12-27 13:33:57 · 798 阅读 · 0 评论 -
YARN 查看 队列,并切换 application 到 指定队列
YARN 查看 队列,并切换 application 到 指定队列原创 2022-12-27 13:26:56 · 948 阅读 · 0 评论 -
YARN 查看/停止 application 状态 常用命令
YARN 查看/ 停止 application 状态 常用命令原创 2022-12-27 13:09:46 · 533 阅读 · 0 评论 -
忘记并重置 Ranger web ui 密码
ranger web ui 账号密码不知道,查找文档也没下落,所以重置密码原创 2022-12-10 20:59:47 · 908 阅读 · 0 评论 -
datax的mysql2hdfs文件系统高可用配置教程
datax的mysql2hdfs文件系统高可用配置教程原创 2022-12-07 07:17:22 · 767 阅读 · 0 评论 -
hive metastore 、hiveserver2 服务启停脚本
hive metastore 、hiveserver2 服务启停脚本原创 2022-11-08 09:20:22 · 1128 阅读 · 0 评论 -
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat; 解决 map 端的小文件进行合并
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat; 解决 map 端的小文件进行合并原创 2022-08-11 16:47:59 · 2243 阅读 · 0 评论 -
编写代码创建UDTF函数
编写代码创建 UDTF 函数原创 2022-08-11 16:32:00 · 435 阅读 · 0 评论 -
hive 之 get_json_object 函数使用
hive 之 get_json_object函数使用原创 2022-08-10 10:47:04 · 1113 阅读 · 0 评论 -
HiveServer2 报错 OutOfMemoryError 解决思路
HiveServer2 报错 OutOfMemoryError 解决思路原创 2022-08-08 17:13:45 · 1138 阅读 · 0 评论