- 博客(22)
- 收藏
- 关注
RSS订阅原创 Apache Ranger 2.4.0 集成Hive 3.x(Kerbos)
看到下面的内容后，已经初始化完毕，需要重启meta和hive服务。服务正常，但是权限已经受到管控，需要进行授权。6.1 测试连接时出现下面报错。五、Ranger 授权。
2024-06-30 22:48:29
335
原创 深入浅出hdfs-hadoop基本介绍
hadoop基本介绍，本文会从hadoop诞生之初到hadoop衍生出来的生态发展图看未来hadoop的发展之路
2024-01-23 23:05:58
495
1
原创 深入浅出hdfs源码
37、hdfs snapshot源码解析。10、hdfs fsimage源码解析。15、hdfs metrics核心解析。18、hdfs balance源码解析。19、hdfs block管理核心解析。17、hdfs distcp源码解析。25、hdfs viewfs源码解析。31、hdfs 节点状态管理源码解析。28、hdfs mover源码解析。32、hdfs文件存储状态源码解析。11、hdfs节点上下线源码解析。24、hdfs 分层策略源码解析。33、hdfs文件元信息源码解析。
2024-01-10 23:52:28
354
原创 no matching host key type found. their offer: ssh-rsa解决方案
ssh 解决host key type found
2022-11-20 21:46:47
409
1
原创 hadoop3升级问题error safe-stable-stringify@2.3.1: The engine “node“ is incompatible with this module. Ex
mvn 编译报错：[INFO] Running 'yarn ' in /home/hadoop/hadoop-3.3.1-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-applications/hadoop-yarn-applications-catalog/hadoop-yarn-applications-catalog-webapp/target[DEBUG] Executing command line [/home/hadoop/hadoop-
2022-02-10 20:09:40
848
转载 Spark学习-Coalesce()方法和rePartition()方法
最近使用spark中遇到了重分区的问题，本文对下面三篇文章内容按照自己逻辑进行整理，mark下！！https://www.cnblogs.com/fillPv/p/5392186.html https://blog.csdn.net/do_yourself_go_on/article/details/74315834 https://blog.csdn.net/u011981433/art...
2020-04-30 15:06:26
390
转载 Scala下划线“_”的常用用法大全
在Scala中，我们随处可见下划线“_”，本篇博客记录了Scala中下划线“_”的各种常用用法，可能不是全部的用法。目录一、集合和函数中使用1.1 集合1.2 函数二、作为通配符2.1import语句2.2case语句2.3元组（tuple）三、下划线和其他符号组合的使用方式3.1下划线与星号（_*）3.1.1 变长参数3.1.2变量声明中...
2020-04-30 15:01:33
611
原创 Google三驾马车论文原文
Google File System中文版英文版https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/gfs-sosp2003.pdfGoogle MapReduce中文版英文版https://static.googleusercontent.com/media/research....
2020-01-22 11:32:48
878
原创 MVN打包遇到的问题
Windows环境下使用idea进行打包时报的错：Caused by: java.io.IOException: CreateProcess error=2, 系统找不到指定的文件。解决方案：修改对应pom里面的sh命令为cmd命令，因为pom可能在unix上编译，也可能在windows下编译...
2019-11-20 10:18:35
189
转载 Linux服务器jps报process information unavailable
Linux服务器jps报process information unavailable 在Linux下执行jps是快速查看Java程序进程的命令，一般情况下hadoop，hbase，storm等进程都是通过jps查看，有些时候因为进程没有被正常结束，比如资源占用过大时挂掉或者没有结束进程就直接重启计算机，会导致原有进程变为-- process information unavailabl...
2019-04-18 07:50:54
201
原创 spring mvc集成普罗米修斯(prometheus)最新教程
目前springboot项目比较流行，对于spring mvc的集成prometheus介绍的比较少，正好最近做了个项目，把流程和遇到的坑整理下， 如能帮助大家就最好了。话不多少，直接上流程。第一步新增依赖：<prometheus.version>0.2.0</prometheus.version><dependency> <groupI......
2019-04-09 21:32:11
7988
3
原创 记录ZooKeeper 写入大文件后处理的经过
问题描述：在一次测试过程中，ZK写入了70W+节点，总数据量70多M，此时想去删除，尝试了下面几个方案：方案1.利用代码原生的方法进行删除CuratorFramework的deletingChildrenIfNeeded进行删除，发现报错java.io.IOException: Packet len8854970 is out of range!查看相关代码：prot...
2019-03-14 14:23:27
1128
原创 Hive on spark日志打印问题总结（任务执行进度的透明化）
一：问题hive on spark中，当切到spark计算引擎的时候发现打印的日志不全，默认的日志只到下图就结束了 对比之前mapreduce的日志我们可以很容易的发现MR日志有很详细的进度，用户可以通过查看这个map和reduce的进度来查看任务的执行情况，但是spark我们怎么办呢？二：分析通过在hiveserver端查看MR这些日志打印的行，都是SessionSt...
2019-01-22 16:09:19
2204
原创 Hive on Spark安装部署(hive1.1,spark1.5,cdh版本)
环境：Hadoop:Hadoop 2.5.0-cdh5.2.0Spark:spark-1.5.0-cdh5.5.1Hive:hive-1.1.0-cdh5.5.0低版本的hive升级到2.x可以甚至3.x也可以大幅度提升hive的性能，不过由于生产环境的数据量比较大，风险比较高，作为提速的备份方案，Spark官方已经不提供1.5的版本了，稳定版本可以看下1.6，后面我再进行相关测试...
2019-01-18 14:59:36
609
原创 Hadoop-2.5.2 viewfs详解（一篇文档让你读懂viewfs）
Hadoop-2.5.2 viewfs详解-------------------一篇文档让你读懂viewfs简介视图文件系统提供一种可以管理多个Hadoop文件系统命名空间（命名空间卷）的方法，在联邦模式的多个NameNode核多个命名空间场景下尤为重要，viewfs类似于某些Unix/Linux操作系统下的客户端挂载表，它不仅可以用于创建个性化的命名空间视图，还可以创建全局...
2019-01-09 11:25:07
5219
原创 Spark SQL: Relational Data Processing in Spark(SparkSQL原理解密，希望对大家有所帮助)
Spark SQL: Relational Data Processing in SparkMichael Armbrusty, Reynold S. Xiny, Cheng Liany, Yin Huaiy, Davies Liuy, Joseph K. Bra...
2018-12-28 21:47:48
2453
转载 Unix 命令之tar
标签：gzip: stdin: not in gzip format原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://alany.blog.51cto.com/6125308/1422299使用tar -zxvf 命令解压备份FMIS2600DMP.tar.gz报错[root@Gris-11140 FM
2016-12-25 09:43:00
412
转载 unix命令之cp命令详情（转载自https://linux.cn/article-2687-1.html）
Linux cp 命令的15个示例 - 创建文件和目录的副本编译自：http://linoxide.com/linux-command/linux-cp-command/原创：LCTT https://linux.cn/article-2687-1.html译者： Luoxcat本文地址：https://linux.cn/article-2687-1.html
2016-12-25 09:39:03
4059
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人