- 博客(75)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 Canal配置多个实例以及将Mysql指定表的binlog导入指定的Kafka的Topic
Canal配置多个实例以及将Mysql指定表的binlog导入指定的Kafka的Topic
2022-12-10 23:11:51
1773
原创 Mysql A left(right) join B on A.id=B.id and A.age=1与A left(right) join B on A.id=B.id where A.age=1
Mysql的join...on....and...与join...on...where...的区别建表和数据准备查看tab_left查看表tab_right结果一致 在左连接（右连接）进行内连接，进行外连接，先进行外连接，在进行过滤
2022-07-11 23:39:17
633
2
原创 Gauss工作—学习笔记
华为高斯数据库安装下载wget https://opengauss.obs.cn-south-1.myhuaweicloud.com/2.1.0/x86/openGauss-2.1.0-CentOS-64bit.tar.bz2tar -jxf openGauss-2.1.0-CentOS-64bit.tar.bz2需要依赖 yum install libaio-devel flex bison ncurses-devel glibc-devel patch redhat-lsb-core rea
2022-04-06 20:27:19
2387
原创 Hive工作—学习笔记
Hive创建表指定分隔符create table tablename(......) row format delimited fields terminated by '\t' # 指定分隔符stored as textfile # 指定类型location '/hdfs/data' # 指定文件地址create database db location '/db';插入数据INSERT INTO TABLE tab1 select * from tab2;INSERT OVERW
2022-04-06 20:25:43
1632
原创 Hadoop工作—学习笔记
Hadoop指令# 查看文件大小hadoop fs -ls -du -s -h 目录# 查看文件，去头部hadoop fs -text /data/hello.csv| headHadoop介绍# HDFS （分布式文件系统）# NameNode: 数据都存放在n（文件的元数据）# DataNode：数据具体的存放位置（存储文件块数据）# SeconaryNameNode:每隔一段时间对NameNode元数据备份# Yarn (Hadoop的资源管理器 CPU + 内存)#
2022-04-06 20:24:10
1474
原创 Hive实战篇
Hive实战和调优1.数据一致性问题对与多次修改以及只追加记录的数据的表，如何保证一致性：idnamesextimes_tamp1rootfemale2022-04-04 13:24:002hadoopfemale2022-04-04 13:24:301flinkmale2022-04-04 13:25:001hivemale2022-04-04 13:26:00通过开窗，排名，取最新的时间戳的数据，得到idname
2022-04-06 13:51:47
1638
原创 Flink 实时数仓伪分布虚拟机 (所有组件部署完成）
Flink 实时数仓伪分布虚拟机 (所有组件部署完成）—— 镜像下载Flink实时数仓架构虚拟机部署流程参考离线数仓镜像导入虚拟机成功后，记得修改虚拟机的内存和CPU视频地址Flink实时数据仓库部署好的虚拟机镜像下载百度网盘链接验证码：jbk8虚拟机描述（账号密码）Flink实时数仓系统：centos7.5主机名：flinkIP：192.168.88.109Linux：root：rootMysql：root:000000 maxwell:000000 canal:0000
2022-03-30 14:42:48
2581
11
原创 Flink同步Mysql数据到Hive（不开启Binlog）
Flink同步Mysql数据到Hive（不开启Binlog）方式一：自定义Source和自定义Sink方式二：FlinkSQL使用JDBC和HiveCatalog方式三：Flink
2022-03-05 20:09:22
3906
原创 FlinkSql连接Mysql出现com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failur
FlinkSql连接Mysql出现com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure.The last packet successfully received from the server was 23 milliseconds ago. The last packet sent successfully to the server was 15 milliseconds ago.
2022-02-21 10:18:46
3009
2
原创 Flink提交jar（带依赖）出现找不到类NoClassDefFoundError+ClassNotFoundException、类冲突NoMatching.....，的解决办法
Flink提交jar（带依赖）出现找不到类NoClassDefFoundError+ClassNotFoundException、类冲突NoMatching…，的解决办法博主结合以下文章进行了总结官方文档Flink官方文档阿里云开发者社区Datastream 开发打包问题阿里云云栖号CSDN博客Datastream 开发打包问题Flink程序打包，要遵顼以下要求Hadoop依赖不打包。使用Table API 带多个flink-connector-xxx.jar，需要自
2022-02-19 23:41:36
7986
原创 Flink1.12.1使用HiveCatalog(HIve3.1.2)出现java.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryUt
Flink1.12.1使用HiveCatalog(HIve3.1.2)出现java.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryUtils.getDefaultRetryPolicy(Lorg/apache/hadoop/conf/Configuration;Ljava/lang/Stringjava.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryUtils.getDef
2022-02-19 19:43:11
2465
原创 Flink Web ui 提交运行打包jar带依赖（“xxxx.-jar-with-dependencies“）出现错误
Flink Web ui 提交运行打包jar带依赖出现错误Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for ‘org.apache.flink.table.factories.TableSourceFactory’ in the classpath. Reason: Required context properties mi
2022-02-18 11:32:07
2960
原创 Linux虚拟机访问Windows上的Mysql
Linux虚拟机访问Windows上的Mysql为什么Linux虚拟机访问不了Windows的Mysql了 ----- 因为Linux和Windows系统都有防火墙。实现Windows访问Linux虚拟机，需要关闭Linux的防火墙或自定义规则Linux关闭防火墙# 关闭# centos7systemctl stop firewalld.service # centos6service iptables stop# 开机不自启# centos7systemctl disable
2022-02-17 17:35:14
2440
原创 SQL：特殊更新操作
SQL：特殊更新操作数据表的code字段不小心插入了维度表（rowid=1）的desc,要将恢复。数据表维度表建表语句DROP TABLE IF EXISTS `t1`;CREATE TABLE `t1` ( `id` int(11) NOT NULL, `code` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL, PRIMARY KEY (`id`) USING BTREE
2022-02-14 23:59:13
178
原创 SQL自定义排序规则
SQL自定义排序规则原数据结果顺序数据显示Apply：提交请求Review：等待回复Finish：任务完成按日期和状态排序，先状态为：提交请求（Apply）—按时间倒序，然后状态为：等待回复（Review）—按时间倒序，然后状态为：任务完成（Finish）—按时间倒序。建表语句DROP TABLE IF EXISTS `customsort`;CREATE TABLE `customsort` ( `status` VARCHAR ( 255 ), `date1` date );IN
2022-02-14 22:51:23
2335
原创 Hive执行show databases出现RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata
FAILED: RuntimeException Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
2022-02-11 16:31:03
2763
1
原创 Hive无法删除表，且无报错，一直卡死的解决方案
Hive无法删除表，且无报错，一直卡死的解决方案删除hive的表一直不动，无反应。然后查看lockshow locks mysql_hive;原来表被锁了，使用命令解锁unlock table mysql_hive;出现错误。解决办法进入元数据库Mysql，对应的源数据库。将HIVE_LOCKS表中的数据全部删除就可以了然后删除hive中的表...
2022-02-10 11:41:57
1806
原创 Kafka创建Topic出现replication factor: 2 larger than available brokers: 0 减少replication factor还是出现错误的解决办法
Kafka创建Topic出现replication factor: 2 larger than available brokers: 0 减少replication factor还是出现错误的解决办法kafka-topics.sh --zookeeper hbase:2181 --create --topic ct --partitions 3 --replication-factor 2[root@hbase kafka]# bin/kafka-topics.sh --zookeeper hbas
2022-01-15 21:58:28
8912
2
原创 Centos的SSH免密了，但是登录出现RSA1认证，还需要输入密码，解决办法如下
Centos的SSH免密了，但是登录出现RSA1认证，还需要输入密码，解决办法如下# 先删除.ssh文件rm -rf ~/.ssh# 重新免密ssh-keygen -t rsa# 一直回车# 添加公钥（hadoop102是主机名）ssh-copy-id hadoop102# 输入密码# 免密登录ssh hadoop102# 还需要输入密码进行Debugssh -vvv hadoop102出现一下情况debug1: Reading configuration data /
2022-01-08 10:44:24
1845
原创 JDBC连接Phoenix出现Exception in thread “main“ org.apache.phoenix.exception.PhoenixParserException: ERROR
JDBC连接Phoenix出现Exception in thread “main” org.apache.phoenix.exception.PhoenixParserException: ERRORog4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system pro
2022-01-03 21:40:58
2180
2
原创 Hbase2.0.5集成Phoenix5.0.0启动出现java.lang.NoSuchMethodError: com.ctc.wstx.stax.WstxInputFactory.createSR
Hbase2.0.5集成Phoenix5.0.0启动出现错误如下Exception in thread “main” java.lang.NoSuchMethodError: com.ctc.wstx.stax.WstxInputFactory.createSR(Lcom/ctc/wstx/api/ReaderConfig;Lcom/ctc/wstx/io/SystemId;Lcom/ctc/wstx/io/InputBootstrapper;ZZ)Lorg/codehaus/stax2/XMLStre
2022-01-03 21:18:37
1714
原创 JDBC连接openGauss出现org.postgresql.util.PSQLException: FATAL: Invalid username/password,login denied错误
JDBC连接openGauss出现错误org.postgresql.util.PSQLException: FATAL: Invalid username/password,login denied账号密码不正确
2021-12-29 11:40:45
1110
原创 Kafka启动成功且运行程序无报错，无法消费数据，即外网无法连接Kafka的消费者或生产者
Kafka启动成功且运行程序无报错，外网无法连接Kafka的消费者或生产者sparkStreaming消费kafka中的数据，得不到数据以及无报错信息，找错误如下首先检查一下，Kafka的消费者和Kafka生成者的Topic是否对应错误，以及其他错误开启kafka使用下面指令，看kafka是否有错误/opt/module/kafka/bin/kafka-server-start.sh /opt/module/kafka/config/server.properties注意程序控制台是否出
2021-12-11 17:00:21
4642
原创 离线数仓-伪分布虚拟机 (所有组件部署完成，全流程运行成功）（数仓4.0-2.0，CDH）
尚硅谷数仓虚拟机镜像博主通过学习尚硅谷数仓项目，将部署好的数仓虚拟机打包成ovf文件，由于博主电脑内存较小，博主使用了伪分布式集群搭建，全流程运行成功。分享虚拟机镜像文件给予大家学习。搭建数仓只需一台虚拟机，且最低配置（内存：3G,磁盘：20G，CUP：1，Linux最小化安装）导入镜像的前提设置记得跟博主设置一样的IP不然可能会出现集群无法使用修改虚拟机IP根据下图参考修改镜像ovf文件的导入VMware导入ova/ovf虚拟机文件镜像ovf下载（将下载的所有文件，放在同一个文件夹下）
2021-11-28 08:44:18
13006
78
原创 Flink的Watermark简单理解
Flink的Watermark简单理解: 定义Watermark 是一种衡量 Event Time 进展的机制。Watermark 是用于处理乱序事件的，而正确的处理乱序事件，通常用 Watermark 机制结合 window 来实现。数据流中的 Watermark 用于表示 timestamp 小于 Watermark 的数据，都已经 到达了，因此，window 的执行也是由 Watermark 触发的。Watermark 可以理解成一个延迟触发机制，我们可以设置 Watermark 的延时
2021-11-27 10:45:49
958
原创 SQL统计出每个用户的累积访问次数
SQL统计出每个用户的累积访问次数如下是用户访问数据要求使用SQL统计出每个用户的累积访问次数，如下图建表和插入数据#建表create table user_data( user_id varchar(50), visit_date date, visit_count int);###插入数据insert into user_data values ('u01','2017-01-21',5);insert into user_data values ('u02','2017-0
2021-10-19 11:21:17
5954
原创 CDH安装Hue连接Mysql出现Unexpected error. Unable to verify database connection
CDH安装Hue连接Mysql出现Unexpected error. Unable to verify database connectionUnexpected error. Unable to verify database connection解决办法原因是因为缺少/usr/lib64/mysql下缺少libmysqlclient_r.so.16这个文件下载下面这个文件libmysqlclient.so.18.0.0修改名称mv libmysqlclient.so.18.0.0 li
2021-10-18 20:08:45
486
原创 Zabbix或Azkaban使用Outlook邮箱进行邮件通知的相关配置
Zabbix或Azkaban使用Outlook邮箱进行邮件通知的相关配置Zabbix配置，如下Azkaban的配置，如下mail.sender=xkt1011@outlook.commail.host= smtp.office365.commail.port=587mail.tls=truemail.user=xkt1011@outlook.commail.password=Outlook邮箱密码...
2021-10-14 21:21:07
721
原创 Solr创建collections出现 ERROR: create failed due to: Error loading config name for collection rss
Atlas0.8.4集成Solr5.2.2创建collections出现 ERROR: create failed due to: Error loading config name for collection rssERROR: create failed due to: Error loading config name for collection rss或ERROR: create failed due to: Error loading config name for collect
2021-09-28 21:50:59
702
原创 Hive出现FAILED: LockException [Error 10280]: Error communicating with the metastore
Hive出现FAILED: LockException [Error 10280]: Error communicating with the metastoreFAILED: LockException [Error 10280]: Error communicating with the metastore开启服务即可在hive的安装目录下，开启hive的服务bin/hive --service metastore如下然后再运行hive...
2021-09-23 09:19:25
1252
原创 Linux虚拟机（VMware）修改静态IP并实现访问互联网（解决无法上网）
Linux虚拟机（VMware）修改静态IP并实现访问互联网（解决无法上网）只要注意IP地址，DNS，网关在同一个网段，DNS和网关全都相同，基本可以实现连接互联网。windows的配置，按图片步骤按箭头按箭头按箭头按箭头双击重点，特别注意，修改一下配置。（可以按下图的）特别注意，IP地址，默认网关，DNS2.配置VMware2.重点1网络模式，子网IP，子网掩码。重点25.按图片6.Ubuntu修改静态IP重点1重启网
2021-08-05 23:14:46
2241
9
原创 Ubuntu Kylin图形化界面与命令行模式永久切换方法（Linux 运行模式）
Ubuntu Kylin图形化界面与纯文本界面永久切换方法切换到纯文本模式按Ctrl+Alt+F3，进入暂时的纯文本界面进行操作输入账号和密码登录。（注下面使用Xshell操作）输入一下指令，更换运行模式init 3修改文件/etc/default/grub文件vim /etc/default/grub如下GRUB_DEFAULT=0GRUB_HIDDEN_TIMEOUT=0GRUB_HIDDEN_TIMEOUT_QUIET=trueGRUB_TIMEOUT=10GRUB
2021-08-05 22:01:52
5480
原创 Kylin启动出现Failed to find metadata store by url: kylin_metadata@hbase和InvocationTargetException等错误
标题Kylin启动出现Failed to find metadata store by url: kylin_metadata@hbase和InvocationTargetException等错误一次下面这3种错误错误1Exception in thread “main” java.lang.IllegalArgumentException: Failed to find metadata store by url: kylin_metadata@hbaseat org.apache.kylin.
2021-07-24 17:31:24
459
3
原创 Kylin出现org/apache/hadoop/hive/conf/HiveConf java.lang.NoClassDefFoundError: 最简单操作解决办法
Kylin出现org/apache/hadoop/hive/conf/HiveConf java.lang.NoClassDefFoundError: 最简单操作解决办法错误如下查看Kylin安装目录中的log文件部分如下2021-07-24 16:31:18,648 ERROR [http-bio-7070-exec-10] controller.TableController:190 : org/apache/hadoop/hive/conf/HiveConfjava.lang.NoClas
2021-07-24 17:06:21
665
原创 Vue的Router在使用this.$router.push(url)出现错误
Vue的Router在使用this.$router.push(url)出现错误Uncaught (in promise) NavigationDuplicated: Avoided redundant navigation to current location: “/home/news”.错误如下解决办法在Vue项目的index.js项目中加入一下内容。const originalPush = Router.prototype.pushRouter.prototype.push = fu
2021-07-12 22:45:07
738
Linux自动安装Hive（单机，含安装MySQL）（Shell脚本）
2020-12-04
Linux自动安装Spark（单机）（Shell脚本）
2020-12-04
Linux自动安装Hbase（伪分布）（Shell脚本）
2020-12-04
maven-archetype-quickstart-1.1.jar.zip
2020-09-04
Linux自动安装Hadoop集群（伪分布）（Shell脚本）
2020-07-24
Linux自动安装jdk（shell脚本）
2020-07-24
【自然语言处理】BiLSTM+Attention_TensorFlow—数据集.zip
2019-12-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人