学习菌csdn-CSDN博客

原创 trinodb无法获取drds表

trinodb无法获取drds表问题描述trinodb连接drds时无法获取表。问题原因好像是drds不是标准的mysql。问题处理修改trinodb的plugin-mysql的源码，替换替换/plugin/mysql的jar包。参考网址：https://github.com/trinodb/trino/commit/10aad75bd35edf8b97996a79e31b0c65ec1b876c...

2022-03-15 15:13:03 1510

原创 hive 的udf报错：FAILED: Class fwlhive.hiveudfs.docdb.UnionAn not found

场景描述使用idea+maven编写hive的udf方法。报错信息FAILED: Class fwlhive.hiveudfs.docdb.UnionAn not foundFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask问题原因1.idea工程模板不对本人的报错原因是使用了idea的springboot模板，导致package之后的jar包的结构不对，安装 packa

2020-12-09 10:33:44 661

原创 hadoop HA模式报错：org/apache/hadoop/mapreduce/v2/app/MRAppMaster

环境：hadoop-3.1.1模式：HA模式java：jdk1.8报错信息：Container id: container_1586433181614_0001_02_000001Exit code: 1[2020-04-09 19:53:16.623]Container exited with a non-zero exit code 1. Error file: prelaunc...

2020-04-10 09:12:17 264

原创 eclipse 插件grep console 日志显示不同颜色

环境windowseclipse插件grep consoleEclipse中grep console 的路径：http://eclipse.schedenig.name安装步骤1.打开eclipse，进入最上方工具栏 Help->Install New Software->AddName：grep consolelocation：http://eclipse.sche...

2020-03-15 13:00:50 770

原创 java 替换文件中的字符串

import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.PrintWriter;import org.apache.log4j.Logger;/***@author FWL*@version 1.0*@time 2019年8月23日下午6:06:34...

2019-11-29 18:29:28 3256

原创 eclipse导入基于maven的Springboot 2.1.5的工程后，pom.xml第1行报错

报错原因从图中看出，pom.xml的报错在第1行，具体的报错信息显示为Unknown。没有具体错误信息，我们就从pom.xml的作用查起，pom.xml的作用是管理jar包，因此猜测jar包的引用出错。查找${maven安装目录}/conf/setting.xml，得到： <mirror> <id>AliMaven</id> &...

2019-05-21 16:53:39 1434

转载右键pom.xml执行Maven clean，出现Plugin org.apache.maven.plugins:maven-resources-plugin:

问题：Plugin org.apache.maven.plugins:maven-resources-plugin:2.5 or one of its dependencies could not be resolved: Failed to read artifact descriptor for org.apache.maven.plugins:maven-resources-plugin:...

2019-04-19 16:17:27 363

原创 Windows下安装protobuf

Windows下安装protobuf第1步查询protobuf版本查找hadoop内自带的protobuf的jar包版本。例如：我的hadoop版本是hadoop-2.6.5查询路径：hadoop-2.6.5\share\hadoop\common\lib\protobuf-java-2.5.0.jar，所以需要下载的protobuf的版本应该是protobuf-java-2.5。...

2019-03-13 18:46:36 9109

原创正则匹配的具体过程

例子:192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] “GET /bg-upper.png HTTP/1.1” 304 -正则表达式:将以上的例子写成正则表达式，如下所示([^ ]) ([^ ]) ([^ ]) ([^ ]) [(.)] "(.)" (-|[0-9]) (-|[0-9])这段字符串中""、““”和"""是

2019-02-25 17:43:24 468

原创 Hive安装部署

1.布局hadoop-fwl02hadoop-fwl04mysql1hive12 前提2.1 运行hadoop集群启动hadoop集群，需要在启动hadoop集群的情况下才能安装hive。2.2 安装mySql安装Hive之前，需要安装一个关系型数据库，用来存储表的信息。因为无法连接互联网，所以采用RPM包安装。2.2.1 下载mySql官...

2019-02-25 14:16:42 193

原创 Hive中文显示乱码

前提hive版本apache-hive-1.2.1-bin.tar.gzmysql版本mysql-5.7.25-1.el6.x86_64.rpm-bundle.tarshell版本Xshell4（Free for Home/School）现象在hive中执行 select * from test.psn;时，由于表中有中文，显示乱码，如下图所示；原因1.对文件进行解码时错误。...

2019-02-25 10:50:51 2105 5

原创 hadoop HA模式下查看落地的log文件

hadoop HA模式下查看log#先决条件##配置jobhistory在yarn-site.xml中添加yarn.log-aggregation-enabletrue在mapred-site.xml中添加 mapreduce.jobhistory.address localhost:10020 mapreduce.jobhistory....

2019-02-25 10:38:34 661

my3187617174的博客