- 博客(63)
- 收藏
- 关注
RSS订阅原创 指定类的debug日志输出到指定日志中
可在 log4j.properties 中添加以下内容，指定hadoop的TaskTracker类的debug日志单独输出TaskTracker. log 中。
2023-10-19 19:29:53
178
原创 trino tpcds测试
然后https://github.com/hortonworks/hive-testbench，在ddl-tpcds/text/alltables.sql中有建表语句（用hive建表）。先下载https://github.com/gregrahn/tpcds-kit（有Linux和macOS），根据其文档生成数据。导入数据到对应表里。
2023-10-18 10:03:02
356
原创 java.lang.NoSuchMethodError: org.apache.hadoop.hdfs.client.HdfsDataInputStream.getReadStatistics()L
hudi版本0.14（spark版本3.3.3hadoop版本3.1.3存储：HDFS。
2023-09-19 14:18:27
1435
6
原创 homebrew更换国内源
第四步：替换homebrew-bottle默认源。第二步：替换homebrew-core.git。第三步：替换homebrew-cask默认源。第一步，替换brew.git。
2023-08-23 10:41:56
707
原创 mac上编译tpcds
注：tpcds是针对linux写的代码，进入tool目录执行make即可编译，在mac下编译的时候会碰到问题，GitHub上大佬做了修改，mac可直接用！
2023-08-22 19:21:12
92
原创 trino on alluxio报java.lang.NoClassDefFoundError: Could not initialize class alluxio.metrics.MetricsS
先看自己{Trino_HOME}/plugin/hive/下是否存在alluxio的client jar包，如存在就不必按照官网要求将alluxio的client jar包拷贝到{Trino_HOME}/plugin/hive/中。但是在{Trino_HOME}/plugin/hive/已经有了alluxio-shaded-client-2.9.3.jar包，两者冲突。需将alluxio-2.9.3-client.jar放在{Trino_HOME}/plugin/hive/ 下（
2023-08-02 09:25:27
83
原创 Hive启动报错：java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument
2、hadoop-3.1.3（路径：hadoop\share\hadoop\common\lib）中该jar包为 guava-27.0-jre.jar；1、com.google.common.base.Preconditions.checkArgument这个类所在的jar包为：guava.jar。3、将jar包变成一致的版本：删除hive中低版本jar包，将hadoop中高版本的复制到hive的lib中。系统找不到这个类所在的jar包或者jar包的版本不一样系统不知道使用哪个。重新启动问题得到解决！
2023-08-02 09:04:10
454
原创 线上问题如何排查
线上问题排查思路1.磁盘空间不足问题2.CPU 与内存使用率过高问题3.网络延迟4.Java 程序的问题分析5.一些无法本地 debug 的调试技巧1.磁盘空间不足问题先用 df -h 从总体查看磁盘状态文件系统 容量 已用 可用 已用% 挂载点devtmpfs 1.9G 4.0K 1.9G 1% /devtmpfs 1.9G 24K 1.9G 1% /dev/shmtmpfs 1.9G 740K
2022-05-23 01:42:02
388
原创 Springboot 之 @EnableConfigurationProperties 注解
@EnableConfigurationProperties 注解的作用是:让使用了 @ConfigurationProperties 注解的类生效,并且将该类注入到 IOC 容器中,交由 IOC 容器进行管理一、使用 @ConfigurationProperties + @Component 注解如果一个类只配置了 @ConfigurationProperties 注解，而没有使用 @Component 注解将该类加入到 IOC 容器中，那么它就不能完成 xxx.properties 配置文件和 Ja
2022-05-03 21:24:26
272
原创 Linux相关命令
一、内存free二、磁盘dfdudmesg三、IOiotopiostat四、CPUtop五、负载uptimevmstat一、内存1.1 free查看机器内存使用情况:total：物理内存大小，就是机器实际的内存used：已使用的内存大小，这个值包括了 cached 和 应用程序实 际使用的内存free：未被使用的内存大小shared：共享内存大小，是进程间通信的一种方式buffers：被缓冲区占用的内存大小cached：被缓存占用
2022-04-29 19:55:18
558
原创 Mac上github ping不通
GitHub的IP地址查询在里面找到最新的github的ip地址然后sudo vim /etc/hosts在里面添加个github最新的ip地址 github.com
2022-04-18 16:09:29
669
原创 Presto源码解析--提交查询
本文的Presto是基于330版本提交查询的步骤presto的连接方式可以有两种，分别是CLI形式的和JDBC形式的，分别对应源码中的presto-cli模块和presto-jdbc模块，后续真正提交到presto coordinator对应到presto-client模块。本文以CLI来讲解Presto如何提交查询。Presto客户端对查询语句的提交主要分为以下3个步骤：从制定的文件、命令行参数或者Cli窗口中获取需要执行的Sql语句。将得到的Sql语句组装成一个RESTful请求，发送给Co
2022-04-16 20:45:08
1289
原创 IDEA远程debug配置
服务器端程序配置第一种方式比如我这次是需要远程debug presto程序，然后在presto目录下的etc/jvm.config中添加了如下一行命令-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=*:5009扩展：transport：调试时的通讯数据传输方式。address：地址端口server：是否监听调试请求。suspend：是否等待启动，即是否在debuger调试链接建立后才启动debug JVM。第二种
2022-04-15 17:44:40
2539
原创 mvn依赖冲突解决方法
在其中一个模块中加了一个新的依赖，然后mvn打包时提示如下错误划红线的地方就是依赖的版本冲突，我在模块中新添加的依赖是<dependency> <groupId>com.github.oshi</groupId> <artifactId>oshi-core</artifactId> <version>3.5.0</version></dependency>但是这个jar包中又依赖了第
2022-03-31 19:20:24
360
原创 从HttpServletRequest中获取前端传过来的文件
@RequestMapping("/uploadFile") public void fileUpload(HttpServletRequest request) throws IllegalStateException, IOException { MultipartHttpServletRequest multipartRequest = WebUtils.getNativeRequest(request, MultipartHttpServle
2022-01-29 16:38:39
3407
原创 Spark 中log4j的设置
log4j.rootCategory=ERROR, consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.target=System.errlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.console.layout.ConversionPattern=%d{yy/MM/ddHH:m
2021-05-17 15:55:14
563
原创 IDEA打jar包在服务器运行出现Error：Invalid or corrupt jarfile xxx.jar 报错
maven项目中有2个子模块，其中a模块依赖于b模块，打包成jar包放在linux下运行时，出现以下错误：ct-producer-1.0-SNAPSHOT.jar中没有主清单属性Error：Invalid or corrupt jarfile xxx.jar解决办法打开项目的Project Structure，按如下图片点击Module是你想要打包的模块Main Class是这个模块的main方法所在的类META-INF一定要放在这个模块的resources资源目录下，不能使用idea自动给
2021-04-26 20:19:39
5756
1
原创 配置log4j.properties将运行日志输出在控制台
再resources资源文件夹下新建log4j.properties文件，在文件中输入以下信息log4j.rootCategory= INFO, consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.target=System.errlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.c
2021-04-22 19:52:18
436
原创 rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [
想把hadoop102机器上的环境变量分发给hadoop103和hadoop104,xsync /etc/profile.d/my_env.sh，这里的xsync是自己的分发脚本#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not Enough Arguement! exit;fi#2. 遍历集群所有机器for host in hadoop102 hadoop103 hadoop104do echo =========== $host
2021-04-15 16:06:26
1386
1
原创 Flume Exception in thread “SinkRunner-PollingRunner-DefaultSinkProcessor“ java.lang.NoSuchMethodErro
Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf.Configuration.set(Configuration.ja
2021-04-08 20:51:31
1196
原创 Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.ap
这是hive想使用hiveserver2的服务时报错信息（首先要开启元数据服务，再开启hiveserver2服务，然后bin/beeline -u jdbc:hive2://hadoop102:10000 -n ding报错信息如下）Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: Failed to open new session: java.lang.RuntimeException
2021-04-01 16:42:40
1838
原创 Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
Hadoop3.1.3在集群上运行自带wordcount功能，抱如下错误信息[2021-03-23 10:00:56.464]Container exited with a non-zero exit code 1. Error file: prelaunch.err.Last 4096 bytes of prelaunch.err :Last 4096 bytes of stderr :Error: Could not find or load main class org.apache.hado
2021-03-23 10:22:01
232
原创 Hadoop集群报错/bin/bash: /bin/java: No such file or directory
在终端运行/bin/java无法运行，所以需要给它创建个软连接，使其指向真正的jdk目录ln -s a ba就是源文件，当我们进入b时实际进入的是a所以我们只需要在终端执行ln -s /opt/module/jdk1.8/bin/java /bin/java，然后在集群上的每台电脑上都执行相同命令就行...
2021-03-22 22:51:13
1630
原创 MAC下使用VMware Fusion给Centos7系统设置IP静态地址
第一步自己的Mac电脑打开终端，输入如下命令cd /Library/Preferences/VMware\ Fusion/然后查看当前目录下有一个vmnet8的文件夹，进入到这个文件夹下,在这个文件下有如下图片的几个文件在终端输入cat nat.conf，然后会出现如下所示信息这里的IP地址就是网关地址，记录下这两个信息然后还是在vmnet8的目录下终端输入cat dhcpd.conf这里的range就是允许的静态IP地址范围，本文以172.16.82.130为例打开Mac上的系统偏好
2021-03-20 21:31:08
207
1
原创 pyhton中zip压缩问题
zip()函数将对象中对应的元素打包成一个元组，返回由这些元组组成的列表In [30]: g=[1,2,3] In [31]: h=[6,7,8] In [32]: l=zip(g,h)
2020-09-29 13:17:08
84
原创 python中open遇见的乱码问题
open(file, mode,encoding)if __name__ == '__main__': docList=[]; classList=[] for i in range(1,26): #遍历25个txt文件 #读取每个垃圾邮件，并字符串转化成字符串列表 wordList=textParse(open('email/spam/%d.txt' % i, 'r').read()) docList.append(wor
2020-09-29 08:35:54
874
原创 用matplotlib绘制图像时显示中文
只需要添加plt.rcParams[‘font.family’] = [‘Arial Unicode MS’] ，就可以正常显示中文import matplotlib.pyplot as pltimport numpy as npplt.rcParams['font.family'] = ['Arial Unicode MS'] #用来正常显示中文标签x = np.arange(1, 11)y = 2 * x + 5plt.title("菜鸟")plt.xlabel("x 轴")plt
2020-09-26 21:09:01
367
1
原创 argsort()函数
argsort()函数默认从小到大排序，并且返回的是对应的索引，比如x[3]=-1最小,所以x.argsort()[0]的值为3
2020-09-21 17:52:15
187
原创 scrapy爬取百度图片遇见的防盗链问题
刚学的爬虫，之前都是学的爬取静态网页图片，这次尝试爬取百度的图片，用xpath解析网页获取的都是空列表，后来查阅资料才知道百度图片的网页是动态的，采用的都是Ajax+JSON机制。网页原始数据是没有图片的，通过运行JavaScript，把图片数据插入到网页的HTML标签中。所以我们在开发者工具中虽然能看到这个HTML标签，但是网页的原始数据其实没有这个标签，它只在运行时加载和渲染。真实的图片信息被打包放在JSON文件当中，所以真正要解析的是JSON文件。百度搜索柯南点击Network–XHR，在往下
2020-07-01 02:38:45
665
原创 pat乙级1050
pat乙级1050这道题目刚开始没想出怎么做螺旋输出，后来借鉴了柳神的思路（原文链接：https://blog.csdn.net/liuchuo/article/details/52123209）#include <iostream>#include <algorithm>#include <cmath>#include <vector>using namespace std;bool cmp(int a, int b){ return
2020-05-31 23:24:15
79
原创 pat乙级1095
pat乙级1095这道题得用unordered_map,否则最后两个点会超时，并且只能用printf输出不能用cout,否则最后两个点也会超时！#include <iostream>#include <string>#include <vector>#include <algorithm>#include <unordered_map>using namespace std;struct Node{ string name;
2020-05-31 21:19:15
121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人