- 博客(38)
- 收藏
- 关注
RSS订阅原创 python手动安装最新版本
/configure -C --with-openssl=/usr/lib/openss3.0.13/ --with-openssl-rpath-auto --prefix=/usr/lib/python3.11.4 #编译。2、Python配置文件修改（Modules/Setup），否则无法使用pip install。这一步若报出'cannot find -lssl'错误，需要手动将openssl添加到环境变量。make -j8 && make install #安装。查看版本状态一致后完成安装。
2024-09-14 17:09:22
206
1
原创 zeppline如何配置用户登陆
1、打开文件，通常位于目录下。添加或修改以下属性以启用简单的用户名/密码身份验证：<property><property>
2024-09-02 22:13:01
353
原创 hive benchmark
hive-testbench-hdp3/tpcds-gen目录下，make，等执行完毕后，进入目录 “/hive-testbench-hdp3/tpcds-gen/target”，可以找到 “tpcds-gen-1.0-SNAPSHOT.jar”文件。2、unzip hdp3.zip（可以直接从git上下载zip包）1、下载benchmark程序。
2024-08-18 22:15:46
224
原创 Flink CDC (session模式)
2、配置变更(application在session起来后再调整，客户端配置)1、相关的CDC包需要移动到flink home。
2024-08-16 10:18:43
348
原创 Flink cdc正确打开方式（flink on yarn）
3、oracle驱动缺失, on yarn缺失的jar需要拷贝到#FLINK_HOME/lib/1、Flink on yarn模式下，flink cdc需要先启动yarn-session模式。2、启动之后进行正常测试。
2024-08-10 00:50:15
382
原创 kafka 3.x 配置kerbos
第三步，准备 kafka-server-kerberos-start.sh 文件，添加 Kerberos 认证配置。2.3 准备 kafka-server-kerberos-start.sh 文件，添加 Kerberos 认证配置。拷贝 bin/kafka-server-start.sh 脚本，命名为 kafka-server-kerberos-start.sh，编辑最后一行，在最后一行代码之前，添加 Krb5 环境变量和 jaas.conf 配置信息。//不同的主机，需修改成不同的keytab文件。
2024-08-08 09:58:28
1007
原创 dataX -20240804-master分支
1、修改dataX源码：HdfsHelper#getColumnTypeInspectors。2、修改dataX源码：HdfsHelper#transportOneRecord。2、重新打包dataX安装。
2024-08-04 17:07:50
365
原创 dolphinscheduler 3.2.1 如何访问开启kerbos的hadoop集群
对于api-server/conf/common.properties 进行配置变更。配置后文件管理和资源管理默认会使用hdfs分布式存储。
2024-07-24 22:11:41
103
原创 dolphinscheduler 3.2.1 datax报错jvm command not found
解决方案：在/etc/profile文件中增加下面的环境设置。
2024-07-23 23:47:25
170
原创 Jupyter如何优雅禁止termin
4、重启 Jupyter Notebook，使配置生效。3、修改 Jupyter Notebook 配置文件。1、在 Jupyter 配置目录下创建一个自定义的。
2024-07-23 23:20:19
374
原创 Apache Ranger 2.4.0 集成Hive 3.x(Kerbos)
看到下面的内容后，已经初始化完毕，需要重启meta和hive服务。服务正常，但是权限已经受到管控，需要进行授权。6.1 测试连接时出现下面报错。五、Ranger 授权。
2024-06-30 22:48:29
389
原创 深入浅出hdfs-hadoop基本介绍
hadoop基本介绍，本文会从hadoop诞生之初到hadoop衍生出来的生态发展图看未来hadoop的发展之路
2024-01-23 23:05:58
520
1
原创 深入浅出hdfs源码
37、hdfs snapshot源码解析。10、hdfs fsimage源码解析。15、hdfs metrics核心解析。18、hdfs balance源码解析。19、hdfs block管理核心解析。17、hdfs distcp源码解析。25、hdfs viewfs源码解析。31、hdfs 节点状态管理源码解析。28、hdfs mover源码解析。32、hdfs文件存储状态源码解析。11、hdfs节点上下线源码解析。24、hdfs 分层策略源码解析。33、hdfs文件元信息源码解析。
2024-01-10 23:52:28
367
原创 no matching host key type found. their offer: ssh-rsa解决方案
ssh 解决host key type found
2022-11-20 21:46:47
442
1
原创 hadoop3升级问题error safe-stable-stringify@2.3.1: The engine “node“ is incompatible with this module. Ex
mvn 编译报错：[INFO] Running 'yarn ' in /home/hadoop/hadoop-3.3.1-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-applications/hadoop-yarn-applications-catalog/hadoop-yarn-applications-catalog-webapp/target[DEBUG] Executing command line [/home/hadoop/hadoop-
2022-02-10 20:09:40
878
转载 Spark学习-Coalesce()方法和rePartition()方法
最近使用spark中遇到了重分区的问题，本文对下面三篇文章内容按照自己逻辑进行整理，mark下！！https://www.cnblogs.com/fillPv/p/5392186.html https://blog.csdn.net/do_yourself_go_on/article/details/74315834 https://blog.csdn.net/u011981433/art...
2020-04-30 15:06:26
413
转载 Scala下划线“_”的常用用法大全
在Scala中，我们随处可见下划线“_”，本篇博客记录了Scala中下划线“_”的各种常用用法，可能不是全部的用法。目录一、集合和函数中使用1.1 集合1.2 函数二、作为通配符2.1import语句2.2case语句2.3元组（tuple）三、下划线和其他符号组合的使用方式3.1下划线与星号（_*）3.1.1 变长参数3.1.2变量声明中...
2020-04-30 15:01:33
682
原创 Google三驾马车论文原文
Google File System中文版英文版https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/gfs-sosp2003.pdfGoogle MapReduce中文版英文版https://static.googleusercontent.com/media/research....
2020-01-22 11:32:48
909
原创 MVN打包遇到的问题
Windows环境下使用idea进行打包时报的错：Caused by: java.io.IOException: CreateProcess error=2, 系统找不到指定的文件。解决方案：修改对应pom里面的sh命令为cmd命令，因为pom可能在unix上编译，也可能在windows下编译...
2019-11-20 10:18:35
201
转载 Linux服务器jps报process information unavailable
Linux服务器jps报process information unavailable 在Linux下执行jps是快速查看Java程序进程的命令，一般情况下hadoop，hbase，storm等进程都是通过jps查看，有些时候因为进程没有被正常结束，比如资源占用过大时挂掉或者没有结束进程就直接重启计算机，会导致原有进程变为-- process information unavailabl...
2019-04-18 07:50:54
229
原创 spring mvc集成普罗米修斯(prometheus)最新教程
目前springboot项目比较流行，对于spring mvc的集成prometheus介绍的比较少，正好最近做了个项目，把流程和遇到的坑整理下， 如能帮助大家就最好了。话不多少，直接上流程。第一步新增依赖：<prometheus.version>0.2.0</prometheus.version><dependency> <groupI......
2019-04-09 21:32:11
8189
3
原创 记录ZooKeeper 写入大文件后处理的经过
问题描述：在一次测试过程中，ZK写入了70W+节点，总数据量70多M，此时想去删除，尝试了下面几个方案：方案1.利用代码原生的方法进行删除CuratorFramework的deletingChildrenIfNeeded进行删除，发现报错java.io.IOException: Packet len8854970 is out of range!查看相关代码：prot...
2019-03-14 14:23:27
1169
原创 Hive on spark日志打印问题总结（任务执行进度的透明化）
一：问题hive on spark中，当切到spark计算引擎的时候发现打印的日志不全，默认的日志只到下图就结束了 对比之前mapreduce的日志我们可以很容易的发现MR日志有很详细的进度，用户可以通过查看这个map和reduce的进度来查看任务的执行情况，但是spark我们怎么办呢？二：分析通过在hiveserver端查看MR这些日志打印的行，都是SessionSt...
2019-01-22 16:09:19
2272
原创 Hive on Spark安装部署(hive1.1,spark1.5,cdh版本)
环境：Hadoop:Hadoop 2.5.0-cdh5.2.0Spark:spark-1.5.0-cdh5.5.1Hive:hive-1.1.0-cdh5.5.0低版本的hive升级到2.x可以甚至3.x也可以大幅度提升hive的性能，不过由于生产环境的数据量比较大，风险比较高，作为提速的备份方案，Spark官方已经不提供1.5的版本了，稳定版本可以看下1.6，后面我再进行相关测试...
2019-01-18 14:59:36
637
原创 Hadoop-2.5.2 viewfs详解（一篇文档让你读懂viewfs）
Hadoop-2.5.2 viewfs详解-------------------一篇文档让你读懂viewfs简介视图文件系统提供一种可以管理多个Hadoop文件系统命名空间（命名空间卷）的方法，在联邦模式的多个NameNode核多个命名空间场景下尤为重要，viewfs类似于某些Unix/Linux操作系统下的客户端挂载表，它不仅可以用于创建个性化的命名空间视图，还可以创建全局...
2019-01-09 11:25:07
5326
原创 Spark SQL: Relational Data Processing in Spark(SparkSQL原理解密，希望对大家有所帮助)
Spark SQL: Relational Data Processing in SparkMichael Armbrusty, Reynold S. Xiny, Cheng Liany, Yin Huaiy, Davies Liuy, Joseph K. Bra...
2018-12-28 21:47:48
2527
转载 Unix 命令之tar
标签：gzip: stdin: not in gzip format原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://alany.blog.51cto.com/6125308/1422299使用tar -zxvf 命令解压备份FMIS2600DMP.tar.gz报错[root@Gris-11140 FM
2016-12-25 09:43:00
421
转载 unix命令之cp命令详情（转载自https://linux.cn/article-2687-1.html）
Linux cp 命令的15个示例 - 创建文件和目录的副本编译自：http://linoxide.com/linux-command/linux-cp-command/原创：LCTT https://linux.cn/article-2687-1.html译者： Luoxcat本文地址：https://linux.cn/article-2687-1.html
2016-12-25 09:39:03
4141
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人