明哥的IT随笔

1. JAVA 数据类型 - float/double 与 BigDecimal2. hive 数据类型 - Double,DECIMAL,Numeric3.如何更改 datax 以支持 hive 的 DECIMAL 数据类型?

在CDH/CDP等大数据平台中，当开启kerberos安全后，如何访问HDFS/YARN/HIVESERVER2 等服务的webui呢？

CDP中如何做到不同业务用户的 HIVE 作业提交到不同的 YARN 队列，以达到资源隔离的目的？

回顾数据平台发展历史，梳理数据平台变迁脉络，更全面准确地理解数据仓库数据湖和数据湖仓！

深入剖析 HIVE 的锁和事务机制

如何使用 DATAX 以 UPSERT 语义更新下游 ORACLE 数据库中的数据？

下数据生态中安全框架的实现原理与最佳实践，包含以下章节：- 大数据生态安全框架概述- HDFS 认证详解- HDFS 授权详解- HIVE 认证详解- HIVE 授权详解- 金融行业大数据安全最佳实践

紧急扩散！HDFS3.X 系列的 EC 纠删码策略有个安全隐患 HDFS-16420，极端情况下会造成数据丢失！1. HDFS-16420 BUG 概述HDFS3.X 的 EC 纠删码功能，近期被发现有个 BUG：该 BUG 会导致，以纠删码机制存放的目录和文件，在某些特殊情况下，会被系统误删，从而造成数据丢失。目前 HADOOP 社区已经通过 HDFS-16420 在版本 3.4.0/3.2.3/ 3.3.2 中修复了该 BUG，Cloudera 针对该 BUG 也给出了详细的分析和修复建议：

盘点下近几年退役的顶级 Apache 大数据项目 - 继 Sentry,Sqoop 之后，Ambari 正式退役！1. Apache Ambari 正式退役正所谓几家欢乐几家愁，2022 年初，又一款顶级 Apache 大数据项目，正式宣告退役：Apache Ambari 于 2022-01 悄然宣布，项目不再维护，正式进入退役阶段！image笔者听闻该消息，恰逢虎年春节之际，虽然对 Ambari 的退役早有预期，但由于早年与 Ambari 颇有渊源，还是不免唏嘘一场！所以谨以一篇博文，纪念下 A

大数据问题排查系列-大数据集群开启 kerberos 认证后 HIVE 作业执行失败1 前言大家好，我是明哥！本文是大数据问题排查系列 的 kerberos问题排查子序列博文之一，讲述大数据集群开启 kerberos 安全认证后，hive作业执行失败的根本原因，解决方法与背后的原理和机制。以下是正文。2 问题现象大数据集群开启 kerberos 安全认证后，HIVE ON SPARK 作业执行失败。通过客户端 beeline 提交作业，报错 spark client 创建失败，其报错信息是：F

大数据问题排查系列-开启 kerberos 后无法访问 HIVESERVER2 等服务的 WEBUI1 前言大家好，我是明哥！在博文“从技术视角看大数据行业的发展趋势”中，我们提到大数据的一个发展趋势是日益重视数据安全。在数据安全上，有四个方面的问题需要解决，即 3A + 1E：3A 是指 authentication, authorization 和 audit 即认证，授权和审计，分别解决了用户身份校验，用户权限校验，事后审计监督的问题；1E 指的是 encryption 即加密，包括对静态

一文看懂 Cloudera 对 CDH/HDP/CDP 的产品支持策略前言大家好，我是明哥。熟悉大数据业界的小伙伴们都知道，Cloudera 在跟HortonWorks 合并后，便推出了新一代大数据平台 CDP，并正在逐步停止原有的大数据平台 CDH 和 HDP。但具体到何时会彻底停止对 CDH 和 HDP 的维护，CDH/HDP 停止维护后现有用户该如何应对，以及 CDP 跟 CDH/HDP 的异同，或多或少都有些模式。笔者希望通过本文，能彻底回答清楚小伙伴们的上述问题。以下是正文。CDH/H

TDH大数据平台的卸载与重装前言大家好，我是明哥！前段时间写过一篇博文关于TDH 集群的许可证管理机制及TDH集群的卸载与安装的博文。该片博文的核心意思如下：星环的tdh大数据平台执行了严格的许可证管理机制，当集群的许可证到期后，集群及集群中的关键服务如hdfs/inceptor等将不能再进行重启，无法正常对外提供服务。所以集群管理员需要提前规划时间，及时向星环官方申请许可证续期。不过对于依托最终客户名义，多次续期的开发或测试集群，星环官方对续期申请可能会冷处理不做任何响应。此时，我们可