凡零-CSDN博客

原创 ClassNotFound ,自定义jar包里的类找不到

java.lang.ClassNotFoundException , 自定义jar 引用类找不到 .

2022-10-18 18:03:08 1897 1

原创 Invalid ＜url-pattern＞ [@null] 报错

Invalid [@null] 报错

2022-09-15 18:38:11 611

Hive ORCFile 分区写入报错报错内容2022-03-01 10:53:14,868 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) at java.nio.ByteBuffer.all

2022-03-01 14:19:07 1751

原创 scm_prepare_database.sh CDH初始数据脚本执行报错

环境CDH 5MySQL 5.7.30check the manual that corresponds to your MySQL server version for the right synta to use near '@ default character set utf8 at line 1原因脚本执行方式的问题 , -p 后面不写密码,直接执行, 然后输入密码,结果返回successful/usr/share/cmf/schema/scm_prepare_database.

2022-01-25 19:14:23 1383

原创 Kafka2.8 删除topic数据

Kafka2.8 删除topic数据Kafka2.8 删除topic数据需求方案Kafka2.8 删除topic数据需求某个topic中存在消费延迟 , 导致消息堆积严重滞后, 准备更改消费策略, 更改后消费策略失效 ,原因竟是topic已存储offset信息后,策略失效 , 现在删除topic内的数据方案1.设置topic保留时间为10s,10s后删除topic内的数据./kafka-configs.sh --zookeeper 172.10.1.10:2181 --topic test --

2021-12-29 15:41:58 962

原创 minio client安装并上传文件

minio client安装并上传文件环境: linux , minio下载客户端wget https://dl.min.io/client/mc/release/linux-amd64/mcchmod +x mc./mc --help设置服务端访问别名和密码别名: minio./mc alias set minio https://ip:9000 access_key SecretAccessKey 上传文件到指定bucket创建bucket: data./mc mb minio

2021-09-14 11:18:32 1242

原创 pip 安装升级

环境:Centos7CDH5.11Python2.7.5pip无法升级的问题解决下载pip18源码下载 ,手动安装wget https://files.pythonhosted.org/packages/69/81/52b68d0a4de760a2f1979b0931ba7889202f302072cc7a0d614211bc7579/pip-18.0.tar.gztar –zxvf pip-18.0.tar.gzcd pip-18.0python setup.py installpi

2021-09-02 13:45:58 110

原创 Error setting null for parameter # with JdbcType

报错信息Error setting null for parameter # with JdbcType...Try setting a different JdbcType for this parameter or a different configuration property. 原因报错显示update SQL生成时,类属性值为null,没有字段属性类型方案@TableField(value = "yaw_wdd",jdbcType = JdbcType.DOUBLE, upda

2021-05-11 19:51:32 2462

原创 “ssl“ directive is deprecated, use the “listen ... ssl“和zero size shared memory zone “perserver“

Nginx版本1.18报错信息"ssl" directive is deprecated, use the "listen ... ssl"zero size shared memory zone "perserver"第一行错误信息在新版本是不再推荐使用"ssl on;"将其注释掉server { listen 80; listen 443 ssl; server_name hecloud.solway.com.cn; #ss

2021-05-08 15:04:00 554 2

原创 Can‘t connect to X11 window server using ‘localhost:25.0‘ as the value of the DISPLAY variable

Can’t connect to X11 window server using ‘localhost:25.0’ as the value of the DISPLAY variable运维部署时错误记录:Tomcat安装后,部署项目执行报错如上.在/opt/apache-tomcat/bin/catalina.sh中的**#!/bin/bash**开头加入JAVA_OPTS=-Djava.awt.headless=true...

2021-05-08 10:58:10 168 3

原创 Hive分区表新增字段

Hive分区表新增字段ALTER TABLE gdm.gdm_wt_minute ADD COLUMNS(turst4 Int);有分区的话要指定是哪个分区,我这个表的分区是按天分的,所以每个分区都要指定一下.注意: 要先切换到该库再执行.use gdm;alter table gdm.gdm_wt_minute partition(date='20210420') add columns(turst4 Int);...

2021-04-21 20:08:01 479

原创端口反查项目位置

端口反查项目位置netstat -ntlp | grep 端口号查看进程id, pidps ax | grep pid执行命令找到相关进程所在位置或者pid 进程idpwdx pid 打出项目位置

2021-03-24 18:01:49 108

原创 pyspark环境搭建,连接hive

pyspark环境搭建,连接hive一环境搭建1.1环境1.1.1 集群环境1.1.2 系统环境配置1.1.3 host文件配置1.1.4hive,hadoop的配置文件1.1.5 pyspark安装2.1环境测试二项目创建2.1.1python代码2.1.2 运行环境设置4.1 运行结果一环境搭建1.1环境1.1.1 集群环境CDH 5:Hadoop 2.6.0Flink 1.6.0Hive 1.1.0Python 2.7.01.1.2 系统环境配置下载Hadoop2.6.0,

2021-03-07 16:50:59 2396

原创 Malformed JSON request json date解析错误

Malformed JSON request SpringBoot json date解析错误问题:(如图)描述:开发调试时,根据规定格式(dateFormat= yyyy-MM-dd HH:mm)请求时,日期格式无法正常解析解决方案让前端传递完整时间格式如图:后端在做日期格式约束@Datapublic class Entity implements Serializable{ @DateTimeFormat(pattern="yyyy-MM-dd HH:mm") @JSONFie

2021-02-25 10:32:41 1576

原创 Caused by: java.lang.ClassNotFoundException: Illegal access: this web application instance has been

Caused by: java.lang.ClassNotFoundException: Illegal access: this web application instance has been stopped already. Could not load [org.jboss.netty.util.internal.ByteBufferUtil].原因:Tomcat已经启动,出现了线程冲突,这可能是你之前的操作里涵盖了Tomcat的相关操作方案:cd /opt/tomcat/bin./sh

2020-12-14 17:24:12 1249

l752820681的博客

原创 ClassNotFound ,自定义jar包里的类找不到

原创 Invalid ＜url-pattern＞ [@null] 报错

原创增加ssh_server

原创 Hive ORCFile 分区写入报错