LangLang1111111的博客

原创 【shell】反引号的转义问题

shell需要三个转义符转义，在python脚本中需要添加6个。

原创 [kafka]数据延迟

topic分区hash设置不合理，数据分布不均匀消费组消费力不行，并行度不高消费不均匀，某一个分区长时间未被消费，导致数据延迟。

原创 【kafka】kafka乱码问题

由编码异常导致数据问题。

原创 【Python】ImportError: html5lib not found, please install it

python读取excel

原创 【Doris】升级报错，fe启动失败

fe升级失败

原创 【canal问题总结】线上canal问题排查：CanalParseException: column size is not match，parse row data failed

原因：修改了canal.properties想过滤出ddl dcl语句，防止doris实时同步读到ddl、dcl语句导致报错想要过滤ddl dcl语句canal.instance.filter.query.dcl = truecanal.instance.filter.query.ddl = true错误：canal读取不到ddl语句，导致字段个数对不上2022-05-22 13:46:19.857 [destination = test , address = pay-partition-

原创 [Canal]canal安装和配置

1、安装1、下载安装包：https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz2、tar -zxvf -C 指定目录解压2、配置修改1、全局配置（修改canal.properties）canal.mq.database.hash = false -- 同步分库分表的数据，使分库分表数据在一个分区中kafka.bootstrap.servers= xxx:9092 设置

原创 【kafka】kafka创建topic如何确定分区，如何计算kafka机器台数

1、创建test topic 单分区bin/kafka-topics.sh --create --replication-factor 2 --partitions 1 --topic test --zookeeper xxx:21812、producer压力测试bin/kafka-producer-perf-test.sh --topic test --record-size 100 --num-records 100000 --throughput -1 --producer-props bo

原创 [Linux开发总结]安装oh my zsh拒绝连接的解决方法.

错误:解决方法:原地址被墙了更为使用国内的项目地址项目mirror地址: https://gitee.com/mirrors/oh-my-zsh以下命令功能下载我修改过的ohmyzsh的install.sh并执行，改变了文件中指向的git仓库从github移到gitee。1、via curlsh -c "$(curl -fsSL https://gitee.com/shmhlsy/oh-my-zsh-install.sh/raw/master/install.sh)"2、via wget

原创 [GitHub开发总结]如何在github上高效搜索出想要的项目?

基本知识:GitHub Trend：总结每天/每周/每月的热门Spoken Language国家语言language 编程语言Date range 时间周期注意点项目名称见名知意描述 基本描述项目文档项目的概况，流程图，设计思路等等都在这里star 代表有多少人感觉还不错，关注了一波fork 代表有多少人克隆了代码到自己的账号下watch 会持续接受到该项目的状态follow

原创 [Flink开发总结]Could not parse type at position 11: ＜KEYWORD＞ expected but was ＜LIST_SEPARATOR＞.

错误:Caused by: org.apache.flink.table.api.ValidationException: Error in data type hint annotation.Caused by: org.apache.flink.table.api.ValidationException: Could not parse type at position 11: <KEYWORD> expected but was <LIST_SEPARATOR>.错误

原创 [Flink开发总结]反射在flink中的使用.

flink代码中使用反射的目的:1.获取pojo的所有属性字段,用于拼接sql语句.反射常用三种方式: 获取class对象的三种方法: 1.class.forName(...) 2.类名.class 3.对象.getClass代码案例: Field[] fields = tClass.getDeclaredFields(); //拼接属性名 String cs = ""; String wh = ""; fo

原创 [Flink开发总结]java.lang.IllegalArgumentException: Cannot format given Object as a Date

错误:java.lang.IllegalArgumentException: Cannot format given Object as a Date源码:firstVisitState = getRuntimeContext().getState(new ValueStateDescriptor<String>("firstVisitState", String.class));sdf = new SimpleDateFormat("yyyy-MM-dd");//状态中保存的是

原创 [Linux开发总结]rpm安装的软件,日志查看在/var/log目录下.(如:mysql,redis,Clickhouse等)

日志查看目录:1.tar 安装的软件,日志在对应的安装目录中2.rpm 安装的软件,日志在/var/log目录中

原创 [Flink错误总结]java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat

错误:java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat错误分析:NoClassDefFoundError 这种类型的错误一般就只有以下两种原因:1.这个jar包确实没有。导入。2.依赖包有冲突。导致无法加载。这个冲突的包，有可能是这个找不到类所属的jar包。 也有可能是函数调用时，其他类的所属jar包冲突了。此处我已经把phoenix的依赖导入了,所以这应该是phoenix的依赖和hado

原创 [Flink错误总结]PhoenixParserException:ERROR 602 (42P00): Syntax error. Missing “EOF“

错误:org.apache.phoenix.exception.PhoenixParserException: ERROR 602 (42P00): Syntax error. Missing “EOF” at line 1, column 36.源码如下:public class DimUtil { public static JSONObject readDimFromPhoenix(Connection conn, String tableName, Long id) {

原创 [Java开发总结]正则表达式学习总结.(以下知识点几乎满足日常使用的所有需求)

代码总结:package com.atguigu.chapter13;import java.util.Arrays;public class RegExpDemo { /*正则表达式: Regular expression贪官 字符串 "123456"法律 正则表达式 \\d+Pattern 表示正则表达式, 经过编译得到正则表达式Matcher 匹配器-----java在字符串提供了四个方法, 直接支持正则表达式

原创 [Flink错误总结]java.lang.NullPointerException: Keyed state can only be used on a ‘keyed stream‘

错误:java.lang.NullPointerException: Keyed state can only be used on a 'keyed stream', i.e., after a 'keyBy()' operation.原因:未知解决方法:还未解决

原创 [Java开发总结]Java正则中为什么反斜线“\“需要用“\\\\”表示

首先，我们需要知道在java字符串和正则表达式中，“\”都具有特殊的含义。一、在Java的字符串中""有两个功能（一）代表特殊字符：\t代表制表符，\n代表换行…等。（二）代表转义，在字符串中，如果出现” ‘ \，会造成代码歧义，如：　　Invalid escape sequence (valid ones are \b \t \n \f \r \" \' \\ )这时，就需要在造成歧义的字符前加\，来告诉编译器：这个字符只是一个普通字符。　　会造成歧义的有 \ '

原创 [Java错误总结]Error: A JNI error has occurred, please check your installation and try again

错误:Error: A JNI error has occurred, please check your installation and try again分析:由于pom.xml文件中的依赖使用provided的级别,导致执行时不会提供依赖解决:

原创 [Flink错误]SQL parse failed. Non-query expression encountered in illegal context

错误源代码如下:tenv .sqlQuery("select" + "hop_start(et, interval '1' hour,interval '3' hour) stt, " + "hop_end(et, interval '1' hour,interval '3' hour) edt, " + "itemId, " +

原创 [Java开发总结]注释总结(持续更新中...)

@Controller@ResponseBody@RestController

原创 [Linux开发总结]杀死未知端口号进程的多种方法

杀死未知端口号进程的多种方法进程名以:logger-0.0.1-SNAPSHOT.jar为例方法一:pkill -f gmall-logger-0.0.1-SNAPSHOT.jar方法二:pgrep -f gmall-logger-0.0.1-SNAPSHOT.jar |xargs kill -9方法三:#此方法只适用于java的进程jps | awk '/gmall-logger-0.0.1-SNAPSHOT.jar/ {print $1}' | xargs kill -9方法四:

原创 [Flink错误]The transaction timeout is larger than the maximum value allowed by the broker

错误分析:报错信息如下:The transaction timeout is larger than the maximum value allowed by the broker (as configured by transaction.max.timeout.ms).官网解释如下:flink官网解释默认情况下，Kafka broker 将 transaction.max.timeout.ms 设置为 15 分钟。此属性不允许为大于其值的 producer 设置事务超时时间。 默认情况下，Fl

原创 [Java错误]Permission denied: user=Lang, access=WRITE, inode=“/“:atguigu:supergroup:drwxr-xr-x

错误:Permission denied: user=Lang, access=WRITE, inode="/":atguigu:supergroup:drwxr-xr-x使用idea API操作hdfs文件时的权限问题:#解决方法有以下三种:1.直接在代码中设置,这种更灵活,推荐使用System.setProperty("HADOOP_USER_NAME","atguigu");2.在idea环境变量中设置3.在windows环境变量中配置...

原创 [Flink开发总结]Tuple2＜Integer, Long＞ TreeSet＜HotItem＞的类型怎么获取?

问题:在Aggregate状态获取时,为了方便起见可以将聚合函数简化为Tuple2<Integer, Long>类型,但是Tuple2<Integer, Long>的类型如何表示呢?解决:表示方式如下: Types.TUPLE(Types.INT, Types.LONG)Aggregate代码如下 private AggregatingState<WaterSensor, Double> vcAvgState; /

原创 [Flink错误]Could not determine TypeInformation for the OutputTag type.

报错:Could not determine TypeInformation for the OutputTag type. The most common reason is forgetting to make the OutputTag an anonymous inner class. It is also not possible to use generic type variables with OutputTags, such as ‘Tuple2<A, B>’.原因:找

原创 [Java总结]Long.valueof和Parselong的区别?

区别:从返回值着手分析!!!项目场景：提示：这里简述项目相关背景：例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机 APP 通信，每隔 5s 传输一批传感器数据(不是很大)问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：@Override public void run() { bytes = mmInStream.read(buffer);

原创 [Linux错误] bash: jps: 未找到命令...

问题描述:bash: jps: 找到命令...解决方法: sudo yum install java-1.8.0-openjdk-devel.x86_64结果:

原创 [Java开发]public static ＜T＞ List＜T＞ toList(Iterable＜T＞ it)为什么前面需要加＜T＞?

问题:为什么需要,作用是什么?代码如下://即：<T> List<T> 中，第一个T是告诉大家，T不是类T.class，而是泛型T（如果只写List<T>则编译器以为是类T.class，如果不存在T.class类，则报错）。 //如果没有<T>,则表示list里面的数据是T类型!!!! public static <T> List<T> toList(Iterable<T> it) {

原创 [Flink错误]Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set

报错:Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to 'ProcessingTime', or did you forget to call 'DataStream.assignTimestampsAndWatermarks(...)'?原因:在使用老版的窗口时,未指定时间语义,导致报错.解决:**//需要设置时间语义 env.setS

原创 [Linux错误] 开启docker后ssh连接不上的情况

原因:出问题的容器里面hosts文件有冲突解决办法: 1.进入出错的容器2.修改hosts文件即可

原创 [Linux错误]yum 安装包的时候提示“没有可用软件包”

当出现这个提示的时候，Linux 是在告诉我们 yum 源中已经没有对应的安装包了，此刻需要我们安装 epel 。何为 epel ，全称为 Extra Packages for Enterprise Linux 企业版 Linux 额外包，需要我们更新下 epel 这个第三方库。 1 [root@localhostshare]# yum install -y epel-release 接下来就可以成功使用 yum 进行相关包的下载~...

原创 [Flink错误总结]flink起不来--＞ Deployment took more than 60 seconds. Please check if the requested resources

原因:资源不足-->因为配置了HA 但是未开启zookeeper,所以没有资源可以调用,导致启动失败解决办法-->启动zk即可 zk.sh start

原创 [Linux总结] jps -ml--＞显示main方法所在进程的名称

当jps显示的信息不够全面时,可以使用jps -ml

原创 [Linux]命令行一键执行某些脚本

参考连接(xargs的命令教程)xargs 命令教程 ---同时执行多条命令、多个命令 - 行走的思想 - 博客园https://www.ruanyifeng.com/blog/2019/08/xargs-tutorial.html xargs 命令教程 同时执行多条命令、多个命令 作者：阮一峰 日期https://www.cnblogs.com/onelikeone/p/13469185.html...

原创 headers请求头注意事项

以:开头的以及accept-encoding不能要,否则会报错

原创 [hive错误][42000][3] Error while processing statement: FAILED: Execution Error, return code 3 from org

原因:数据类型不对导致的错误,如果字段本应是浮点型的话,你返回0(整数型)就会造成错误!!!解决方法:将数据格式修改成对应的即可!!!

原创 网络问题 ping不通!

原创 NetCat的简单使用

1. nc -lk 99992. nc hadoop102 9999