- 博客(551)
- 资源 (7)
- 收藏
- 关注
原创 BE节点经常挂掉:[IO_ERROR]failed to list /proc/27349/fd/: No such file or directory
be.out也看不出什么有用日志,查看be.WARNING,发现了如下错误,但还不知道如何解决,先记录一下问题。最近BE节点经常挂掉。
2023-11-21 10:16:11 985 1
原创 Flink CDC MySQL同步MySQL错误记录
错误1:Connector ‘mysql-cdc’ can only be used as a source. It cannot be used as a sink.问题2:Encountered “AUTO_INCREMENT”问题3:Encountered “DEFAULT”处理方法:删除AUTO_INCREMENT。处理方法:改用 TIMESTAMP(3)问题1:Encountered “(”原因:方向搞反了,插入表应该是目标表。处理方法:删去DEFAULT。(2)重启flink。
2023-09-25 17:17:31 2958 1
原创 doris错误信息Invalid range value format
原来是order_date的类型 为DATETIME,所以分区范围需要给出日期时间对应的格式。
2023-06-08 16:35:03 1104
原创 MySQL存储过程实例
1、简单实例create procedure demo.p_test1()begin -- 使用 declare语句声明一个变量 declare id int default 0; declare name varchar(50) default ''; -- 使用set语句给变量赋值 set id=7521; -- 将users表中id=1的名称赋值给username select ename into name from demo.emp where empno=id;
2022-01-18 16:12:26 5654 6
原创 重大问题思考-2021年总结
毛主席曾说过:我是靠总结经验吃饭的。学会总结,是一个人成长的重要能力。过去2021年,针对自己关心的重大问题思考总结,从大到小梳理如下。1、天文本人从小就是一个天文迷,有些问题一直关注。1.1 宇宙的未来2021年知道了宇宙可能的3种未来。(1)继续膨胀宇宙起源于大爆炸,继续膨胀下去。或者说一次性无限膨胀。(2)收缩宇宙膨胀到一定时候,开始收缩,最后收缩成全宇宙质量的黑洞。(2)膨胀-收缩循环宇宙没有起点和终点,膨胀-收缩循环进行。1.2 是否存在外星生物2021年中国天问一号抵达
2022-01-01 16:01:20 1570 2
原创 对文件“D:\Virtual Machines\node1\node1-s009.vmdk”的操作失败(磁盘空间不足)。
今天虚拟机弹出一个错误,如下:对文件“D:\Virtual Machines\node1\node1-s009.vmdk”的操作失败(磁盘空间不足)。磁盘“D:\Virtual Machines\node1\node1-s009.vmdk”所在的文件系统已满。选择“重试(R)”可重试该操作。选择“取消”将结束会话。仔细看看错误提示:“node1-s009.vmdk所在的文件系统已满。”大致明白了,好像是说虚拟机目录所在本地磁盘空间空间不足,查看一下D盘,确实如此,原因找到了。迁移D盘
2021-11-20 19:47:55 3889
原创 spring-boot-starter-data-jpa + SQLite简单例子(含全部代码)
1、介绍1.1 SQLiteSQLite官网:http://www.sqlite.org/SQLite是比 Access 更优秀的文件型数据库,支持复杂的 SQL 语句,支持索引、触发器,速度很快,开源等。1.2 spring-boot-starter-data-jpaSpring Data JPA 是 Spring 基于 ORM 框架、JPA 规范的基础上封装的一套JPA应用框架,可使开发者用极简的代码即可实现对数据的访问和操作。它提供了包括增删改查等在内的常用功能,且易于扩展。spring-b
2021-11-16 20:49:56 6022
原创 【简单实验】spring-boot-starter-data-jpa
1、项目目录2、全部代码2.1 pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven
2021-11-16 19:46:02 2118
原创 MySQL和Shell命令交互执行
1、在Shell中执行MySQL相关查询通过参数-e[root@node1 ~]# mysql -uroot -p123456 -e "show databases"mysql: [Warning] Using a password on the command line interface can be insecure.+--------------------+| Database |+--------------------+| employees
2021-11-15 18:58:31 1545
原创 MySQL 8.0慢查询日志实验
1、开启慢查询日志默认,MySQL的慢查询日志功能是关闭的。mysql> Show variables like 'slow_query%';+---------------------+-------------------------------+| Variable_name | Value |+---------------------+-------------------------------+| slow_quer
2021-11-15 18:35:07 3729
原创 MySQL 8.0 定时任务(事件)验证
-- 创建事件,指定事件名CREATE EVENT IF NOT EXISTS event_demo-- 每天凌晨1点执行ON SCHEDULE EVERY 1 DAY STARTS DATE_ADD(DATE_ADD(CURDATE(), INTERVAL 1 DAY), INTERVAL 1 HOUR)-- 永久执行ON COMPLETION PRESERVE-- 事件说明COMMENT 'T+1的定时任务'-- 指定事件启动时所要执行的代码DO BEGIN insert into
2021-11-14 18:00:32 1209
原创 MySQL 8.0角色与授权
1、用户已经存在了employees、employees_read用户,新建一个写用户mysql> CREATE USER 'employees_write'@'%' IDENTIFIED BY '123' ;Query OK, 0 rows affected (0.00 sec)2、新建角色(1)admin角色mysql> grant all on employees.* to employees_admin;Query OK, 0 rows affected (0.01 s
2021-11-12 17:43:53 709
原创 MySQL 8.0用户管理
1、禁止root用户远程访问(1)在安装MySQL数据库软件时,我们已经设置了禁止root远程登录参见,https://blog.csdn.net/chengyuqiang/article/details/121282247(2)root用户只能在服务器端访问(3)远程访问被禁止2、新建用户mysql> CREATE USER 'employees'@'%' IDENTIFIED BY '123' ;Query OK, 0 rows affected (0.02 sec) mys
2021-11-12 16:41:26 1304
原创 MySQL 8.0导入样例数据库employees
1、下载https://launchpad.net/test-db/employees-db-1/1.0.62、导入[root@node1 app]# cd employees_db/[root@node1 employees_db]# ll总用量 164492-rw-r--r-- 1 root root 752 11月 11 12:59 Changelog-rw-r--r-- 1 root root 6460 11月 11 12:59 employees_partit
2021-11-12 14:32:08 830
原创 Centos7下MySQL 8.0安装与卸载
1、下载https://dev.mysql.com/downloads/mysql/2、安装2.1 解压缩[root@node1 app]# ll总用量 817720drwxr-xr-x. 8 10143 10143 273 6月 9 09:58 jdk1.8.0_301-rw-r--r-- 1 root root 837345280 11月 11 06:25 mysql-8.0.27-1.el7.x86_64.rpm-bundle.tar[root@node1 ap
2021-11-12 11:24:32 1922
原创 Oracle常用SQL查询
1、获取每个分组中日期最大的一条数据业务场景:在报表开发中,只需要每个分组最近的一条数据。例如:某天的明细数据中,可能存在多条记录,只需要该天最后更新的一条记录。思路:对分组进行排序,并编号,然后select编号为1的记录即可。SELECT A.VC_NAME,A.F_VALUE FROM (SELECT T.*, row_number() over(partition by T.VC_NAME,T.DT_BEGIN_DATE order by T.DT_UPDATE
2021-10-28 09:36:50 968
原创 PL/SQL Developer 相关设置
菜单Tools–>Preferences–>Editor–>AutoReplace–>Editi=INSERTu=UPDATEs=SELECTf=FROMw=WHEREsf=SELECT * FROMsc=SELECT COUNT(*) FROMsfu=SELECT * FROM FOR UPDATEfu=FOR UPDATEob=ORDER BYgb=GROUP BYdf=DELETE FROMcor=CREATE OR REPLACEp=PROCED
2021-10-27 17:30:46 527
原创 最新的SpringCloud与SpringBoot对应关系
1、SpringCloud与SpringBoot版本冲突[INFO] Validation error:[ERROR] org.apache.maven.artifact.InvalidArtifactRTException: For artifact {org.springframework.cloud:spring-cloud-starter-netflix-eureka-server:null:jar}: The version cannot be empty.[ERROR] Maven se
2021-09-16 13:55:20 1641 1
原创 Flink+Kafka:FlinkKafkaProducer简单样例
1、pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.o
2021-09-11 18:59:48 2249
原创 Flink+Kafka:FlinkKafkaConsumer简单样例
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav
2021-09-10 11:16:41 1915
原创 Flink报错记录
[20210910 10:16:40.107] [DEBUG] [main] [StreamGraph.java:391][addOperator] Vertex: 2java.lang.IllegalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFa
2021-09-10 10:51:25 1521
原创 Kafka集群( 2.8.0版本)之四:Java简单实现生产者和消费者
1、pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/m
2021-09-06 22:13:40 1857 2
原创 Kafka集群( 2.8.0版本)之三:消费者组
1、启动两个消费者,属于同一个消费者组test[root@node2 kafka-2.8.0]# bin/kafka-console-consumer.sh --topic demo --bootstrap-server node1:9092 --group test[root@node3 kafka-2.8.0]# bin/kafka-console-consumer.sh --topic demo --bootstrap-server node1:9092 --group test[root
2021-09-06 15:00:41 370
原创 搭建Kafka集群( 2.8.0版本)之二
1、创建Topic(1)创建topic[root@node3 kafka-2.8.0]# bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 1 --topic testCreated topic test.[root@node3 kafka-2.8.0]#–zookeeper:为zk服务器地址,已逗号分割配置多个–replication-factor:分区leader
2021-09-05 20:50:19 545 1
原创 Kafka集群(2.8.0版本)快速入门
参考官方文档,一步步执行https://kafka.apache.org/documentation/#quickstart(1)下载最新版Kafka[root@node1 app]# tar -zxvf kafka_2.13-2.8.0.tgz[root@node1 app]# mv kafka_2.13-2.8.0 kafka-2.8.0[root@node1 app]# cd kafka-2.8.0/(2)启动Kafka环境先启动内置的Zookeeper[root@node1 kaf
2021-09-04 22:58:43 487
原创 搭建Kafka集群( 2.8.0版本)之一
1、启动zookeeper集群Kafka最新版本2.8.0可以不依赖zookeeper,但是仍然测试阶段,所以官方不推荐使用,因此还是要使用zookeeper集群。[root@node1 ~]# zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /opt/zookeeper-3.4.10/bin/../conf/zoo.cfgStarting zookeeper ... STARTED[root@node1 ~]#[
2021-09-03 21:49:08 1344
原创 查看zookeeper事务日志
1、日志文件(1)Zookeeper的日志文件位置,在配置文件zoo.cfg的dataDir指定。我的配置如下dataDir=/tpdata/zookeeper(2)日志文件zookeeper的日志为二进制格式文件,不能直接查看[root@node2 version-2]# pwd/tpdata/zookeeper/version-2[root@node2 version-2]# ll总用量 252-rw-r--r-- 1 root root 2 8月 22 00:29
2021-09-03 14:42:24 2909
原创 Doris动态分区
1、说明本文主要是测试Doris动态分区相关功能;关于动态分区相关理论部分请参考官方文档:http://doris.incubator.apache.org/master/zh-CN/administrator-guide/dynamic-partition.html2、创建一个张按天调度的、不删除历史分区的动态分区表(1)建表语句CREATE TABLE IF NOT EXISTS test.dynamic_partition_tbl( id INT, dt DATE, pv BIGI
2021-09-02 11:24:14 5321 1
原创 Doris分区
CREATE TABLE table1 ( siteid INT DEFAULT '10', citycode SMALLINT, username VARCHAR(32) DEFAULT '', pv BIGINT SUM DEFAULT '0' ) AGGREGATE KEY(siteid, citycode, username) DISTRIBUTED BY HASH(siteid) BUCKETS 10 PROPERTIES("replica
2021-09-01 17:08:01 3418
原创 Doris之ROLLUP
Duplicate 数据模型:DorisDB中的用于存放明细数据的数据模型,建表可指定,数据不会被聚合。Base 表:DorisDB 中通过 CREATE TABLE 命令创建出来的表。Materialized Views 表:简称 MVs,物化视图。https://cloud.baidu.com/doc/PALO/s/kksis5hciROLLUP是物化视图的一个子集。...
2021-09-01 15:50:59 2624
原创 DBeaver链接Doris
(1)单击添加按钮(2)选择MySQL类型(3)录入Doris相关参数,单击测试链接按钮(4)可视化界面(5)执行SQL
2021-08-31 17:17:12 6676
原创 Doris:部署Broker
如果机器有多个IP,需要配置priority_networks1、启动Broker[root@node1 ~]# cd /app/doris-0.14.13/apache_hdfs_broker/[root@node1 apache_hdfs_broker]# sh bin/start_broker.sh --daemon[root@node1 apache_hdfs_broker]# jps10400 PaloFe12744 Worker14153 BrokerBootstrap12249
2021-08-31 16:08:04 1485
原创 Doris数据模型
列可以分为两大类:Key 和 Value。从业务角度看,Key 和 Value 可以分别对应维度列和指标列。Apache Doris主要有3种数据模型:明细模型:Duplicate(重复,复制)模型,表中的Key值(类似关系模型中的主键)可以重复,和插入数据行一一对应。聚合模型:Aggregate(聚合,合计)模型,表中key值不重复,对于插入的数据数据按照key值对value值进行聚合函数合并。更新模型:UNIQUE 模型,聚合类型的特殊情况,key满足唯一性,最新插入的数据替换掉对应key的数
2021-08-31 14:26:59 2727 1
原创 Apache Doris 8030端口
http://10.17.12.160:8030/http://10.17.12.160:8030/backend
2021-08-31 10:09:21 1320
原创 Doris集群启动停止脚本
[root@node1 ~]# cat start-cluster.sh#! /bin/bash echo "------正在启动Doris集群------"SERVERS="node1 node2 node3"MASTER="node3"start_fe() { for SERVER in $SERVERS do if [ "$SERVER" = "$MASTER" ]; then ssh $SERVER "/app/doris-
2021-08-30 23:05:12 925
原创 Doris集群环境搭建
本文记录按照官网文档进行操作过程1、下载预编译包(1)百度Doris官方网址2021年,百度网址doris.baidu.com/doc已经调整为了https://cloud.baidu.com/doc/PALO/s/Wksis5irl请注意官方提示:适用于CentOS 7.3依赖Oracle JDK 1.8 版本(2)确定CPU是否支持avx2指令检查如下,我使用的是虚拟机,暂不支持avx2指令,因此需要下载对应的no-avx2版本的预编译[root@node3 ~]# cat
2021-08-30 11:28:20 2825
原创 Doris客户端
[root@node3 app]# lsjdk1.8.0_301 MySQL-client-5.6.51-1.el7.x86_64.rpm[root@node3 app]# rpm -ivh MySQL-*.rpm警告:MySQL-client-5.6.51-1.el7.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY准备中... ##########################
2021-08-29 21:49:02 1993
小巧的屏幕调节软件flux
2019-08-10
基于elasticsearch 6.x的新闻搜索项目代码
2019-07-17
Xftp6官方个人版
2018-11-11
Xshell 6 官方个人版
2018-11-11
hibernate5+spring4+springmvc+maven基本框架整合样例代码
2018-07-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人