Hadoop
runzhliu
毕业于中山大学,目前专注于容器和大规模并行计算
展开
-
【Hadoop】怎么把高版本的代码合进去低版本YARN-7699
为什么会有这样的需求呢?举个例子,比如 Hadoop 3.0 有些比较 fancy 的功能,但是用户正在用着 2.8.5,但是用户也想用到 3.0 那个 fancy 的功能,那么这里就需要评估一下,把这个 3.0 的 Feature 合进来 2.8.5 了。但是要注意,这种向后兼容,并不总是可以的,尤其是垮了大版本的软件,特别是那些大的特性,需要仔细评估才能告诉用户是否可以这么做,所以这种需求,不要一下子就答应了,要给自己留点 buffer。一般这种向后兼容的代码合并,要比较小心,当然最好就是可以本地原创 2021-04-25 19:05:08 · 207 阅读 · 0 评论 -
【Hadoop】org.apache.hadoop.ipc.xxx不存在
想在 IDEA 上运行 Hadoop 的单测,以为 Maven 相关的依赖和插件下载好就能跑了是吧?果不其然,没那么简单,下面就收到一个报错了: org.apache.hadoop.ipc.xxx不存在,见下图。上面显示的这个是什么包?为什么会报这个错呢?其实不用着急,只要你了解 Hadoop 底层,有点后端的基础,慢慢推敲一下。看到 RPC,那么可以理解,这些不存在的文件为什么不存在呢?原因就是没有通过 protoc 来生成,这些 RPC 的客户端一般都是这样生成的,如果没有,那么我们运行的某些单测原创 2021-04-25 17:14:22 · 1092 阅读 · 0 评论 -
【Hadoop】 Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.8.5:protoc编译Hadoop问题
[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.8.5:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: protoc version is 'libprotoc 2.6.1', expected version is '2.5.0' -> [Help 1][E原创 2021-04-25 16:27:17 · 1149 阅读 · 0 评论 -
Mac里捣腾Kerberos(一)
文章目录1 Overview2 安装3 Summary1 Overview最近需要解决一个部门一个老旧问题,问题大概是这样的,Spark on K8S 在访问 HDFS(其他小组负责)的时候需要走 Kerberos 认证。因为之前工作里比较少涉及到这一块,所以想现在本地环境做个快速的测试,顺便系统了解一下 Kerberos。本文主要介绍一些 Mac 本地快速验证 Kerberos 以及一些基...原创 2019-05-24 21:18:53 · 3063 阅读 · 2 评论 -
Spark on K8S 访问 Kerberized HDFS
文章目录1 Overview2 Practice2.1 前提条件2.2 部署 Kerberized HDFS2.3 Spark 程序访问 HDFS3 Summaryhttps://databricks.com/session/apache-spark-on-k8s-and-hdfs-security1 OverviewSpark 从2.3开始支持 Native 的 K8S 作为 reso...原创 2019-06-03 15:53:21 · 1997 阅读 · 0 评论 -
图解 Kerberos 三个密码验证的过程
参考资料: https://www.youtube.com/watch?v=_44CHD3Vx-0Client 发送请求到 AS(Authentication Server),注意这个请求是用 Client 的密码A加密过的,无需在网络中传递 Client 的密码A,因为在 AS 收到请求后,会从创建用户的数据库里,找到 Client 的密码A用于解密。认证成功后,AS 会返回 TGT(T...原创 2019-06-05 08:42:11 · 1130 阅读 · 0 评论 -
Kerberized HDFS with Kubernetes
文章目录1 Overview2 Steps2.1 Step1 下载 Hadoop 2.7.3 的发行版2.2 Step2 构建 Docker 镜像2.3 Step3 启动 K8S 集群2.4 Step4 创建 PV 和 PVC2.5 Step5 启动 Pods2.5.1 KDC Node2.5.2 NN Node2.5.3 DN Node2.5.4 DataPopulator Node2.6 运行...原创 2019-07-13 22:53:51 · 659 阅读 · 0 评论