- 博客(66)
- 收藏
- 关注
RSS订阅原创 trino查询mysql报Unknown or incorrect time zone: ‘Asia/Shanghai‘
trino查询mysql时报，trino的日志中看到。
2025-03-24 10:12:51
244
原创 写入hive metastore报问题Permission denied: user=hadoop，inode=“/user/hive”
使用Doris创建hive catalog后，想在hive上的库中创建一个表，报如下图片错误。
2024-12-19 15:11:31
442
原创 maven: Failed to execute goal com.github.ekryd.sortpom:sortpom-maven-plugin pom.xml is not sort
【代码】maven: Failed to execute goal com.github.ekryd.sortpom:sortpom-maven-plugin pom.xml is not sort。
2024-08-01 13:56:08
301
原创 指定类的debug日志输出到指定日志中
可在 log4j.properties 中添加以下内容，指定hadoop的TaskTracker类的debug日志单独输出TaskTracker. log 中。
2023-10-19 19:29:53
243
原创 trino tpcds测试
然后https://github.com/hortonworks/hive-testbench，在ddl-tpcds/text/alltables.sql中有建表语句（用hive建表）。先下载https://github.com/gregrahn/tpcds-kit（有Linux和macOS），根据其文档生成数据。导入数据到对应表里。
2023-10-18 10:03:02
542
原创 java.lang.NoSuchMethodError: org.apache.hadoop.hdfs.client.HdfsDataInputStream.getReadStatistics()L
hudi版本0.14（spark版本3.3.3hadoop版本3.1.3存储：HDFS。
2023-09-19 14:18:27
2335
8
原创 homebrew更换国内源
第四步：替换homebrew-bottle默认源。第二步：替换homebrew-core.git。第三步：替换homebrew-cask默认源。第一步，替换brew.git。
2023-08-23 10:41:56
872
原创 mac上编译tpcds
注：tpcds是针对linux写的代码，进入tool目录执行make即可编译，在mac下编译的时候会碰到问题，GitHub上大佬做了修改，mac可直接用！
2023-08-22 19:21:12
160
原创 trino on alluxio报java.lang.NoClassDefFoundError: Could not initialize class alluxio.metrics.MetricsS
先看自己{Trino_HOME}/plugin/hive/下是否存在alluxio的client jar包，如存在就不必按照官网要求将alluxio的client jar包拷贝到{Trino_HOME}/plugin/hive/中。但是在{Trino_HOME}/plugin/hive/已经有了alluxio-shaded-client-2.9.3.jar包，两者冲突。需将alluxio-2.9.3-client.jar放在{Trino_HOME}/plugin/hive/ 下（
2023-08-02 09:25:27
151
原创 Hive启动报错：java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument
2、hadoop-3.1.3（路径：hadoop\share\hadoop\common\lib）中该jar包为 guava-27.0-jre.jar；1、com.google.common.base.Preconditions.checkArgument这个类所在的jar包为：guava.jar。3、将jar包变成一致的版本：删除hive中低版本jar包，将hadoop中高版本的复制到hive的lib中。系统找不到这个类所在的jar包或者jar包的版本不一样系统不知道使用哪个。重新启动问题得到解决！
2023-08-02 09:04:10
1004
转载 线上问题如何排查
线上问题排查思路1.磁盘空间不足问题2.CPU 与内存使用率过高问题3.网络延迟4.Java 程序的问题分析5.一些无法本地 debug 的调试技巧1.磁盘空间不足问题先用 df -h 从总体查看磁盘状态文件系统 容量 已用 可用 已用% 挂载点devtmpfs 1.9G 4.0K 1.9G 1% /devtmpfs 1.9G 24K 1.9G 1% /dev/shmtmpfs 1.9G 740K
2022-05-23 01:42:02
473
原创 Springboot 之 @EnableConfigurationProperties 注解
@EnableConfigurationProperties 注解的作用是:让使用了 @ConfigurationProperties 注解的类生效,并且将该类注入到 IOC 容器中,交由 IOC 容器进行管理一、使用 @ConfigurationProperties + @Component 注解如果一个类只配置了 @ConfigurationProperties 注解，而没有使用 @Component 注解将该类加入到 IOC 容器中，那么它就不能完成 xxx.properties 配置文件和 Ja
2022-05-03 21:24:26
302
原创 Linux相关命令
一、内存free二、磁盘dfdudmesg三、IOiotopiostat四、CPUtop五、负载uptimevmstat一、内存1.1 free查看机器内存使用情况:total：物理内存大小，就是机器实际的内存used：已使用的内存大小，这个值包括了 cached 和 应用程序实 际使用的内存free：未被使用的内存大小shared：共享内存大小，是进程间通信的一种方式buffers：被缓冲区占用的内存大小cached：被缓存占用
2022-04-29 19:55:18
597
原创 Mac上github ping不通
GitHub的IP地址查询在里面找到最新的github的ip地址然后sudo vim /etc/hosts在里面添加个github最新的ip地址 github.com
2022-04-18 16:09:29
875
原创 Presto源码解析--提交查询
本文的Presto是基于330版本提交查询的步骤presto的连接方式可以有两种，分别是CLI形式的和JDBC形式的，分别对应源码中的presto-cli模块和presto-jdbc模块，后续真正提交到presto coordinator对应到presto-client模块。本文以CLI来讲解Presto如何提交查询。Presto客户端对查询语句的提交主要分为以下3个步骤：从制定的文件、命令行参数或者Cli窗口中获取需要执行的Sql语句。将得到的Sql语句组装成一个RESTful请求，发送给Co
2022-04-16 20:45:08
1383
原创 IDEA远程debug配置
服务器端程序配置第一种方式比如我这次是需要远程debug presto程序，然后在presto目录下的etc/jvm.config中添加了如下一行命令-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=*:5009扩展：transport：调试时的通讯数据传输方式。address：地址端口server：是否监听调试请求。suspend：是否等待启动，即是否在debuger调试链接建立后才启动debug JVM。第二种
2022-04-15 17:44:40
2624
原创 mvn依赖冲突解决方法
在其中一个模块中加了一个新的依赖，然后mvn打包时提示如下错误划红线的地方就是依赖的版本冲突，我在模块中新添加的依赖是<dependency> <groupId>com.github.oshi</groupId> <artifactId>oshi-core</artifactId> <version>3.5.0</version></dependency>但是这个jar包中又依赖了第
2022-03-31 19:20:24
468
原创 从HttpServletRequest中获取前端传过来的文件
@RequestMapping("/uploadFile") public void fileUpload(HttpServletRequest request) throws IllegalStateException, IOException { MultipartHttpServletRequest multipartRequest = WebUtils.getNativeRequest(request, MultipartHttpServle
2022-01-29 16:38:39
3654
原创 Spark 中log4j的设置
log4j.rootCategory=ERROR, consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.target=System.errlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.console.layout.ConversionPattern=%d{yy/MM/ddHH:m
2021-05-17 15:55:14
608
原创 IDEA打jar包在服务器运行出现Error：Invalid or corrupt jarfile xxx.jar 报错
maven项目中有2个子模块，其中a模块依赖于b模块，打包成jar包放在linux下运行时，出现以下错误：ct-producer-1.0-SNAPSHOT.jar中没有主清单属性Error：Invalid or corrupt jarfile xxx.jar解决办法打开项目的Project Structure，按如下图片点击Module是你想要打包的模块Main Class是这个模块的main方法所在的类META-INF一定要放在这个模块的resources资源目录下，不能使用idea自动给
2021-04-26 20:19:39
5944
1
原创 配置log4j.properties将运行日志输出在控制台
再resources资源文件夹下新建log4j.properties文件，在文件中输入以下信息log4j.rootCategory= INFO, consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.target=System.errlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.c
2021-04-22 19:52:18
478
原创 rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [
想把hadoop102机器上的环境变量分发给hadoop103和hadoop104,xsync /etc/profile.d/my_env.sh，这里的xsync是自己的分发脚本#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not Enough Arguement! exit;fi#2. 遍历集群所有机器for host in hadoop102 hadoop103 hadoop104do echo =========== $host
2021-04-15 16:06:26
1512
1
原创 Flume Exception in thread “SinkRunner-PollingRunner-DefaultSinkProcessor“ java.lang.NoSuchMethodErro
Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf.Configuration.set(Configuration.ja
2021-04-08 20:51:31
1312
原创 Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.ap
这是hive想使用hiveserver2的服务时报错信息（首先要开启元数据服务，再开启hiveserver2服务，然后bin/beeline -u jdbc:hive2://hadoop102:10000 -n ding报错信息如下）Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: Failed to open new session: java.lang.RuntimeException
2021-04-01 16:42:40
2172
原创 Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
Hadoop3.1.3在集群上运行自带wordcount功能，抱如下错误信息[2021-03-23 10:00:56.464]Container exited with a non-zero exit code 1. Error file: prelaunch.err.Last 4096 bytes of prelaunch.err :Last 4096 bytes of stderr :Error: Could not find or load main class org.apache.hado
2021-03-23 10:22:01
267
原创 Hadoop集群报错/bin/bash: /bin/java: No such file or directory
在终端运行/bin/java无法运行，所以需要给它创建个软连接，使其指向真正的jdk目录ln -s a ba就是源文件，当我们进入b时实际进入的是a所以我们只需要在终端执行ln -s /opt/module/jdk1.8/bin/java /bin/java，然后在集群上的每台电脑上都执行相同命令就行...
2021-03-22 22:51:13
1794
原创 MAC下使用VMware Fusion给Centos7系统设置IP静态地址
第一步自己的Mac电脑打开终端，输入如下命令cd /Library/Preferences/VMware\ Fusion/然后查看当前目录下有一个vmnet8的文件夹，进入到这个文件夹下,在这个文件下有如下图片的几个文件在终端输入cat nat.conf，然后会出现如下所示信息这里的IP地址就是网关地址，记录下这两个信息然后还是在vmnet8的目录下终端输入cat dhcpd.conf这里的range就是允许的静态IP地址范围，本文以172.16.82.130为例打开Mac上的系统偏好
2021-03-20 21:31:08
243
1
原创 pyhton中zip压缩问题
zip()函数将对象中对应的元素打包成一个元组，返回由这些元组组成的列表In [30]: g=[1,2,3] In [31]: h=[6,7,8] In [32]: l=zip(g,h)
2020-09-29 13:17:08
130
原创 python中open遇见的乱码问题
open(file, mode,encoding)if __name__ == '__main__': docList=[]; classList=[] for i in range(1,26): #遍历25个txt文件 #读取每个垃圾邮件，并字符串转化成字符串列表 wordList=textParse(open('email/spam/%d.txt' % i, 'r').read()) docList.append(wor
2020-09-29 08:35:54
937
原创 用matplotlib绘制图像时显示中文
只需要添加plt.rcParams[‘font.family’] = [‘Arial Unicode MS’] ，就可以正常显示中文import matplotlib.pyplot as pltimport numpy as npplt.rcParams['font.family'] = ['Arial Unicode MS'] #用来正常显示中文标签x = np.arange(1, 11)y = 2 * x + 5plt.title("菜鸟")plt.xlabel("x 轴")plt
2020-09-26 21:09:01
417
1
原创 argsort()函数
argsort()函数默认从小到大排序，并且返回的是对应的索引，比如x[3]=-1最小,所以x.argsort()[0]的值为3
2020-09-21 17:52:15
228
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人