- 博客(26)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 保存 iptables 配置并设置开机启动
在上一篇中，设置的 iptables 路由转发只是保存在内存当中，假设服务器重启，那么就会丢失该配置信息。本文中介绍如何安装 iptables（centos7 版本默认没有安装 iptables），并保存相关配置信息，做到开机自启动。...
2022-06-23 22:47:20
6426
1
原创 Pulsar Admin API 操作 Source
以监控 mysql 数据为例，简单写了一个使用 Pulsar Admin API 来操作 Source 的 Demo
2021-12-04 22:36:29
1286
1
原创 Pulsar 集群搭建以及如何使用 debezium mysql connector
本文详细介绍了 pulsar 集群以及 pulsar io 环境的部署，并展示了如何在 pulsar 集群上使用 debezium mysql connector。
2021-07-08 18:16:25
730
原创 实时同步sqlserver数据，写入kafka
本文使用的是debezium连接器来实时同步SQL server数据，再写入到kafka消息队列中。
2021-02-08 18:24:25
2045
3
原创 实时同步Oracle数据，写入Kafka
很多文章都是基于standalone模式运行，这里使用的是distribute模式运行，通过kafka-connect-oracle来实时同步oracle数据，再写入到kafka消息队列中。
2021-02-08 16:25:28
2673
33
原创 Xcode编译打包上架Flutter项目问题总结
目录一、编译运行过程遇到问题二、打包过程遇到问题三、上架App Store遇到的问题一、编译运行过程遇到问题1、控制台输出的报错信息中发现会有某些方法不存在，没有该命名的参数，或者是某些变量、参数不存在。解决方法：在Flutter项目中pubspec.yaml将出现问题的插件的版本号切换为指定版本，即去掉 ^ 符号，因为有些插件用最新的可能会出现不兼容的问题，同时确保Flutter版本与开发项目时所用的版本一致。2、[VERBOSE-2:platform_view_layer.cc(20)] Try
2021-01-21 11:08:21
3683
6
原创 Kafka数据写入Hudi
Kafka To Hudi1.配置pom.xml文件2.main方法入口1.配置pom.xml文件<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>2.4.5</version></dependency><dependency>
2021-01-15 19:55:56
1725
4
原创 Canal组件监控mysql数据，写入Kafka
Canal To Mysql1.配置pom.xml文件2.main方法入口3.Canal客户端4.解析binlog5.Produce方法1.配置pom.xml文件<dependencies> <dependency> <groupId>com.alibaba.otter</groupId> <artifactId>canal.client</artifactId> <version
2020-12-19 23:23:37
240
1
原创 深入了解Kafka架构之数据可靠性保证
目录1、ack应答机制2、Exactly Once3、Producer 事务为保证 producer 发送的数据，能可靠的发送到指定的 topic，topic 的每个 partition 收到producer 发送的数据后，都需要向 producer 发送 ack（acknowledgement 确认收到），如果producer 收到 ack，就会进行下一轮的发送，否则重新发送数据。1、ack应答机制Kafka 为用户提供了三种可靠性级别，用户可根据对可靠性和延迟的要求进行权衡。0prod
2020-07-08 23:23:24
172
原创 Kafka Eagle连接mysql问题
Kafka Eagle安装问题一、问题描述二、解决方法三、Eagle链接一、问题描述com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException:Could not create connection to database server.无法连接mysql二、解决方法其主要问题是mysql驱动过低， 需要用更高版本的的Eagle本人尝试过从1.2版本起，到2.0版本的Eagle，仍然无法连接上mysql 8.0.
2020-07-08 14:21:52
1645
1
原创 shell脚本快速启动Hadoop HA集群
shell脚本快速启动Hadoop HA集群1、编辑allzkServer.sh2、编辑alljournal.sh3、编辑allhdfs.sh4、启动集群1、编辑allzkServer.shvi allzkServer.sh#!/bin/bashcase $1 in"start"){ for i in slave1 slave2 slave3; do echo "*********$i zkServer start*********" ssh $i "source /et
2020-06-29 23:09:52
378
原创 HBase 学习总结之DeleteColumn标记删除时机原理
HBase 学习总结之DeleteColumn标记删除时机原理1、原理1.1为什么DeleteColumn是在major_compact阶段删除而不是在Flush删除？2、总结1、原理学过HBase的应该都知道，在HBase当中，当发出Delete命令时，实际上数据并没有真正被删除，而是被打上了删除标记，使得这个被删除的数据对外不可见，即无法通过scan以及get方法获取数据，不过没有被系统自动Flush前仍可用以下方式来展示数据scan 'table_name',{RAW=>TRUE,V
2020-05-24 16:11:15
644
原创 HBase HA的安装与配置
HBase HA的安装与配置前言一、安装HBase二、配置文件三、启动HBase前言需要准备的环境有已经搭建好的Hadoop以及hbase-1.2.4-bin.tar.gz下载地址: https://archive.apache.org/dist/hbase/1.2.4/一、安装HBase解压命令tar -zxvf hbase-1.2.4-bin.tar.gz -C $path-C为指定解压路径本人安装路径为/usr/Software/HBase/每一个虚拟机都要安装与配置HB
2020-05-22 21:42:22
340
原创 Hadoop2.7.3源码编译成支持Snappy的压缩包，并安装搭建Hadoop集群
Hadoop2.7.3源码编译成支持Snappy的压缩包，并安装搭建Hadoop集群前序1.maven的安装2.准备编译环境3.编译支持Snappy的Hadoop2.7.3源码4.安装支持Snappy的Hadoop集群5.支持Snappy的Hadoop安装包前序准备资源注意：采用 root 角色编译，减少文件夹权限出现问题apache-maven-3.6.3-bin.tar.gz下载地址...
2020-05-07 21:22:00
432
原创 Hive 安装过程出现的问题总结
Hive 安装过程出现的问题总结问题1、Hive启动失败解决方法:hive-site.xml文件修改如下:<property> <name>hive.exec.local.scratchdir</name> <value>$HIVE_HOME/iotmp</value> <description&g...
2020-04-28 19:47:59
393
原创 netty 实现客户端与服务端的简单通信
netty 实现客户端与服务端的简单通信我这里话就不多说了，直接上代码。Server端import io.netty.bootstrap.ServerBootstrap;import io.netty.buffer.ByteBuf;import io.netty.channel.*;import io.netty.channel.group.ChannelGroup;import i...
2020-04-22 17:19:07
527
3
原创 Hadoop HA集群的搭建
Hadoop HA集群的搭建序言1、JDK的安装2、环境变量的配置3、映射主机名与IP地址3.1修改主机名(其它四台虚拟机也是要修改为对应的hostname)3.2修改hosts文件(每台虚拟机都要配置)3.3ping主机名4、分发配置信息到各个虚拟机5、配置SSH无秘钥连接6、同步虚拟机的时间7、安装zookeeper(安装在slave结点)8、安装Hadoop8.1解压安装包8.2修改配置文件...
2020-04-19 23:37:23
505
原创 IDEA项目运行问题总结
IDEA项目运行问题相信很多用IDEA的朋友有时候会出问题，这里就总结了几个问题以及解决方法问题1. java:-source 1.5 中不支持lambda表达式原因:只有java8版本开始才支持lambda表达式解决方法：Project language level需要配置为与jdk版本一致,Modules->Sources的Language level也是一样问题2.Inf...
2020-04-13 17:40:38
546
原创 java项目打包成.exe包含第三方依赖包
java项目打包成.exe包含第三方依赖包如果需要打包的项目有用到其他的包，那么在maven项目的pom.xml文件中可以加上<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId>...
2020-04-13 17:00:08
357
原创 netty 客户端与服务端之间通信问题:客户端接收不到数据
问题出现:客户端能够发送消息至服务端，服务端广播的消息在客户端接收不到Client端public class ClientChannelInitializer extends ChannelInitializer<SocketChannel> { protected void initChannel(SocketChannel socketChannel) throws E...
2020-04-11 20:57:10
10131
16
原创 Xftp、hadoop、GitHub等安装包
分享一下资源，不想去官网下载的朋友可以用这些，目的是方便大家1、Xftp5.0链接：https://pan.baidu.com/s/1jqhMgKfeGttyZrpUQSZtpg提取码：h32t复制这段内容后打开百度网盘手机App，操作更方便哦2、hadoop完全分布式安装包链接：https://pan.baidu.com/s/1VV0U6WF5Het6oHU2vVGXGQ提取码：q...
2020-04-01 21:19:25
383
原创 IDEA相对路径的介绍
这篇文章主要是介绍关于IDEA开发工具时应如何正确使用相对路径，因为我在使用的过程中也会遇到问题，希望能给朋友们带来帮助，写的不对的话也希望能指点一下错误的地方。1、用反射机制来获取一个类的实例String str = “com.myjava.test”Class.forName(str);在这里面，test.java这个类处于src下的包com.myjava下，注意不需要加上**.jav...
2020-04-01 20:44:36
4130
1
原创 CentOS系统的安装与NAT模式的网络配置
朋友们安装CentOS或者是配制NAT模式的网络配置遇到问题的话，可以看看这个，希望能帮到你们。CentOS系统的安装与NAT模式的网络配置1、安装CentOS系统创建虚拟机选择镜像文件接着默认安装。到了下面这一步可以自定义硬件，可以移除声卡、打印机、USB控制器这三个不必要的硬件。网络适配器需要选上NAT模式弄完就可以关闭，回到已准备好创建虚拟机，选完成，那么CentOS系...
2020-04-01 20:12:30
579
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人