2020年06月_九师兄

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创【MySQL】MySQL 报错 Could not retrieve transation read-only status server Unknown system tx_read_only

1.背景写了一个mysql插入程序很简单的。结果报错java.sql.SQLException: Could not retrieve transation read-only status server at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:996) at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:935) at com.mysql.jdbc.

2020-06-30 23:34:37 920

转载【MySQL】MySQL EXPLAIN用法和结果

请转到：https://blog.csdn.net/why15732625998/article/details/80388236

2020-06-30 12:27:25 729

转载【Http】HTTPclient保持长连接需要消费返回信息不然很卡

首先解释一下什么是长连接，当我们向一台服务器发起请求时，我们需要和对方建立一条通道，去传输数据，所谓的短连接，就是说我们建立起了通道，然后在传输完数据，就把通道摧毁，下次需要的时候再重新去建立通道。长连接呢，就是指，我们建立了一条通道，传递完数据后，先不摧毁，下次如果还需要传输数据，就复用这条通道。因为通道的建立是需要花费时间的，所以长连接的优势就在于响应速度快，但是服务器压力大，因为同时有很多人在向服务器建立通道，即便有些通道已经传输完数据了，由于长连接的原因，通道也不会被摧毁；短连接呢，则是，响应速度.

2020-06-29 23:13:12 1062

转载【Guava】Google Guava本地高效缓存

1.Google,Guava本地高效缓存Guva是google开源的一个公共java库，类似于Apache Commons,它提供了集合，反射，缓存，科学计算，xml，io等一些工具类库。cache只是其中的一个模块。使用Guva cache能够方便快速的构建本地缓存。2. 使用Guava构建第一个缓存首先需要在maven项目中加入guava依赖<dependency> <groupId>com.google.guava</groupId> &l.

2020-06-29 22:40:17 1135

原创【Antlr】识别常见的词法结构

1.概述语法分析器通过输入的词法符号流来识别特定的语言结构词法分析器通过输入的字符流来识别特定的语言结构。词法规则以大写字母开头文法规则以小写字母开头。例如，ID是一个词法规则名，而expr是一个文法规则名。2.配置标识符在语法的伪代码中，一个基本的标识符就是一个由大小写字母组成的字符序列。我们知道，可以使用刚刚掌握的方法(...) +来表达序列模式。因为序列中的元素既可以是大写字母也可以是小写字母.我们还知道，应当在子规则中使用选择运算符:ID : ('a'..'z'|'A'..'.

2020-06-29 22:28:03 745

原创【Antlr】Antlr 将 CSV文件转成Map数据结构

1.概述数据如下Details,Month,AmountMid Bonus,June,"$2,000",January,"""zippo"""Total Bonuses,"","$5,000"G4文件如下grammar CSV;file : hdr row+ ;hdr : row ;row : field (',' field)* '\r'? '\n' ;field : TEXT # text | STRING # string | # e.

2020-06-29 22:27:52 611

原创【Antlr】Antlr生成调用图

1.概述参考：Antlr权威指南 8.3 章g4文件如下/** Simple statically-typed programming language with functions and variables * taken from "Language Implementation Patterns" book. */grammar Cymbol;file: (functionDecl | varDecl)+ ;varDecl : type ID ('=' exp.

2020-06-29 22:27:44 772

原创【Antlr】unknown attribute text for rule stat in $stat.text

g4文件如下，编译报错' {' {这里是(注: ANTLR 4.3之后，原先的$stat.text需要改成。译者注)改成如下就好了' {' {

2020-06-29 22:27:38 569

原创【Antlr】Antlr将词法符号送入不同的通道、处理注释

1.概述绝大多数编程语言忽略词法符号间的空格和注释，这意味着它们可以出现在任何地方。这就给语法分析器带来了一个难题，它必须时刻考虑两种可选的词法符号的存在:空白字符和注释。常见的解决方案是，令词法分析器匹配这些词法符号并丢弃。examples/Cymbol.g4WS : [ \t\n\r]+ -> skip ;SL_COMMENT : '//' .*? 'In' -> skip ;在绝大多数情况下，因为注释不影响生成的代码，这种方案表现出色例如编译器。另一方面，如果我们在.

2020-06-29 22:27:31 750

原创【Antlr】Antlr API 简介

antlr包结构介绍，以及简单的api解释

2020-06-29 22:27:25 1441

原创【Mac】setremotelogin: Turning Remote Login on or off requires Full Disk Access privileges.

1.背景因为要在本地开启hadoop 操作如上：mac下ssh 报错：localhost: ssh: connect to host localhost port 22: Connection refused(base) lcc@lcc hadoop-2.7.4$ sudo systemsetup -f -setremotelogin onsetremotelogin: Turning Remote Login on or off requires Full Disk Access privile.

2020-06-29 22:27:18 3259 2

原创【Mac】Mac下SSH免密登录localhost

1.背景问题起因参考：mac下ssh 报错：localhost: ssh: connect to host localhost port 22: Connection refused为了在MAC上搭建Hadoop standalone，需要配置ssh免密登陆自身，按照网上的教程试了一次又一次都不行，MAC配置SSH免密和Linux是有很多区别的。ssh-keygen -t rsaPress enter for each line 提示输入直接按回车就好cat ~/.ssh/id_rsa.pub .

2020-06-29 22:27:12 974

原创【Flink】IncompatibleClassChangeError: Found class org.apache.flink.streaming.runtime.tasks.Processing

1.背景测试Flink CEP，然后使用ProcessTime，然后报错如下org.apache.flink.runt ime.client.JobExecut ionException: Job execution failed. at org.apache.flink.runtime.jobmaster.JobResult.toJobExecutionResult(JobResult.java:146) at org.apache.flink.runtime.minicluster.Min.

2020-06-29 22:27:04 850

原创【Antlr】Antlr 在语法中嵌入任意动作

1.概述参考Antlr4 权威指南 4.4 章节g4 文件如下grammar Rows;@parser::members { // add members to generated RowsParser int col; public RowsParser(TokenStream input, int col) { // custom constructor this(input); this.col = col; }}file: (.

2020-06-29 22:26:54 807

原创【Antlr】Antlr 孤岛语法：处理相同文件中的不同格式

1.概述ANTLR有三个与词法符号有关非常棒的特性，值得付诸笔墨。首先，我们将会尝试处理XML .这样的具有不同词法结构的输入格式(标签内外不同)。其次，我们将会学习通过修改输入的词法符号流，在Java类中插入一个字段的方法。它将会展示，如何以最低的代价来生成和输入内容相似的输出。最后，我们将会看到ANTLR语法分析器如何忽略空白字符和注释，同时不丢弃它们。2.孤岛语法：处理相同文件中的不同格式迄今为止，我们看到的样例输入文件都只包含一种语言，但是事实上，有很多常见的文件格式包含多重语言。例如，.

2020-06-29 22:26:45 796

原创【Flink】Flink 操作HDFS报错 hadoop is not in the classpath/dependencies

1.背景写了一个FLink程序，用来设置RocksDb，然后报错 @Test public void flatMapStateBackendTest1() throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 每隔1000 ms进行启动一个检查点【设置checkpoint的周期】 e.

2020-06-29 22:26:38 2099

原创【Flink】Flink 检查点 Triggering checkpoint createBlockoutputstream no further info information

1.背景案例程序参考：https://blog.csdn.net/qq_21383435/article/details/106493465然后报错[28-6-82 1:899 [INFOj forg.pache.flink.runtime.checkpoint.CheckpointCoordinator:617] Triggering checkpoint[2828-6- 82 11:9:10] INFOj [org.apache.hadoop.hdfs DFSclient:1368] Exce

2020-06-29 22:26:31 932

原创【Flink】Flink打包Could not resolve dependencies flink-statebackend-rocksdb_2.11:jar:1.9.1

1.背景是这样的，我写了一个flink程序，本地运行是没问题了，但是因为我们是内网开发，所以我要把maven包传到nexus，然后进行打包。 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-statebackend-rocksdb_2.11</artifactId> <versi.

2020-06-29 22:26:24 1018

原创【Flink】Flink检查点时间太小导致Exceeded checkpoint tolerable failure threshould

1.背景写了一个flink程序，大概如下@Test public void flatMapStateBackendTest() throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 每隔1000 ms进行启动一个检查点【设置checkpoint的周期】 env.enableCheckp.

2020-06-29 22:26:17 7212

原创【Flink】Flink消费kafka 突然报错 Kafka09PartitionDiscoverer.getAllPartitionsForTopics

1.背景一个好好的程序，改写了一下，参数未变，但是运行起来报错2020-06-0216:23:30 F4 [Thread: flink-akka.actor.default-dispatcher-2][class:org.apache.flink.runtime.executiongraph.ExecutionGraph] INFO:Could not restart the job execute w11 (613e76ab1287b88b217cebf4daed8dcb) because the.

2020-06-29 22:26:09 1375

原创【Flink】Flink checkpoint expired before completing

1.背景在这个问题之前。【Flink】Flink检查点时间太小导致Exceeded checkpoint tolerable failure threshould上面那个问题，我设置了1分钟// 开启 Checkpoint，每 1000毫秒进行一次 Checkpointenv.enableCheckpointing(60000);// Checkpoint 语义设置为 EXACTLY_ONCEenv.getCheckpointConfig().setCheckpointingMode(Che.

2020-06-29 22:26:03 4520

原创【Flink】Flink checkpoint was declined

1.背景在这个问题之前。【Flink】Flink checkpoint expired before completing上面那个问题，我设置了1分钟// 开启 Checkpoint，每 1000毫秒进行一次 Checkpointenv.enableCheckpointing(120000);// Checkpoint 语义设置为 EXACTLY_ONCEenv.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXAC.

2020-06-29 22:25:56 4857 4

原创【Siddhi】Siddhi 5 自定义函数简单使用

1.概述因为代码要升级，以前是siddhi 4 现在要升级siddhi 5,发现自定义函数不一样了，需要进行一点点的修改，下面是siidhi 5的测试/* * Copyright (c) 2016, WSO2 Inc. (http://www.wso2.org) All Rights Reserved. * * WSO2 Inc. licenses this file to you under the Apache License, * Version 2.0 (the "License");.

2020-06-29 22:25:48 964

原创【Siddhi 5】Siddhi 自定义函数@Extension使用

1.概述先看看博客，【Siddhi】Siddhi 5 自定义函数简单使用，然后我看官网有个@Extension想知道@Extension有什么作用，于是我测试了一下，加这个的时候不需要注册就能使用如下函数如下package org.apache.flink.streaming.siddhi.exception;import io.siddhi.annotation.Example;import io.siddhi.annotation.Extension;import io.siddhi..

2020-06-29 22:25:40 998

原创【Kafka】kafka消费报错 no brokers found in zk

1.背景执行kafka控制台消费数据报错> ./kafka-console-consumer.sh --zookeeper 1.zookeeper:2181 --topic test --from-beginningNo brokers found in ZK.是localhost 上没有运行 zookeeper，或者 2181端口是错误的。./kafka-topics.sh --zookeeper 1.zookeeper1:2181 --list 能不能列出所有的topic，如果能.

2020-06-29 22:24:14 6733

转载【Yarn】yarn local dirs的管理实现

/yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage 默认是100（这个值需要改成小于100，比如80，否则容易出现磁盘满地问题）通过MonitoringTimerTas的构造函数对进行初始化，比如获取设置的yarn.nodemanager.log-dirs和yarn.nodemanager.local-dirs 设置有效的local路径。而在cdh5.2.0中，构造函数多了两个配置项。

2020-06-28 22:18:14 1602

原创【Java】indexOf 方法区分大小写

1.背景因为测试一个代码，发现有数据，但是就是查不到，大概如下 /** * 0 * 1 * -1 */ @Test public void indexOfTest(){ List<String> list = new ArrayList<>(); list.add("aa"); list.add("cateListInfo"); System.out.prin.

2020-06-28 18:06:26 1506

原创【Flink】Could not instantiate the executor. Make sure a planner module is on the classpath

1.背景想测试一下Flink的UDF.想在FlinkSQL 中使用一些自定义的函数，maven如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven..

2020-06-27 18:08:28 3351

原创【Siddhi】DefinitionNotExistException: Stream with stream ID xxx has not been defined

1.背景当你定义一个stream的时候，但是下面获取的时候，如果写错了名字，就会报错这个，案例如下@Test public void mainTest2() throws InterruptedException { // Creating Siddhi Manager SiddhiManager siddhiManager = new SiddhiManager(); //Siddhi Application String s.

2020-06-27 18:08:20 571

原创【ES】ES 根据数据的某个字段进行条件删除

1.概述这个问题，起源我的一个误操作，我本来想删除一个数据，但是一不小心把整个索引删掉了DELETE 索引ID前缀-*/{ "eventId":"10"}这样把整个索引都删除了。最后查询才知道，正确的做法是 POST 索引ID前缀-*/_delete_by_query{ "query":{ "match":{ "eventId":"10" } }}这个是根据查询条件删除数据。...

2020-06-27 18:07:15 6297

原创【Flink】Flink TaskManager 内存不足导致重启

一个flink程序运行一段时间后，突然重启了，查看日志报错如下这句话的意识是当前运行的内存超过物理内存限制，当前使用了2G的物理内存，4G的虚拟内存。内存不够用了，查看内存发现只给了2G内存，改成如下就好了其他场景请参考：【Flink】connection indicates remote task manager was lost相似问题：【Flink】Flink Container exited with a non-zero exit code 143【Flink】Flink Dump of

2020-06-27 18:07:08 3624 4

原创【Kafka】Illegal unquoted character ((CTRL-CHAR, code 0)): has to be escaped using backs

1.背景参考：【Kafka】kafka反序列化数据报错jackson2 JsonParseException: Invalid UTF-8 middle byte 0xc0我是都统一成UTF-8的时候，出现了这种情况。

2020-06-27 18:07:01 2652

原创【Kafka】【未解决】kafka反序列化数据报错jackson2 JsonParseException: Invalid UTF-8 middle byte 0xc0

1.背景因为需要windows下进行flink测试，于是在windows下开启kafka，然后拷贝一段数据，使用comsole去发送数据，此时发现数据在解析的时候报错org.apache.flink.shaded.jackson2.com.fasterxml.jackson.core.JsonParseException: Invalid UTF-8 middle byte 0xc0at [source: (byte[])"( "fileName": "user","eventCount": "1".

2020-06-27 18:06:55 3419

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

Eclipse Formatter 模板 Formatter.xml

Drools-复杂事件处理

excel操作包

eclipse的hadoop插件

hadoop学习文档

hadoop单结点

hadoop单结点配置

native_32位

s2sh整合配置，非常适合初学者，明白配置流程

打飞机代码

空空如也