- 博客(68)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 BI工具-DataEase(2) 基础使用
2. 数据集支持Excel,SQL,关联数据集等等,新建SQL数据集,输出SQL语句。1. 数据源:支持OLTP,OLAP,数仓/数据湖,我们这边还是使用的mysql。3.仪表盘-新建文件目录-新建仪表盘-新建视图-数据集-选择合适的图表。先讲下工具栏,分别是仪表盘,数据集,数据源,模板市场等等.和大多数的BI工具一样,首先配置的就是数据源。接下来重复添加数据集-制作表格就可以了.新建mysql数据源,填写配置信息。点击运行-保存SQL数据集。
2023-10-17 14:22:45
272
原创 BI工具-DataEase(1) 安装
4. 登录页面:默认的账户密码: admin/ dataease。使用的版本是 1.18.11。访问:your ip:80。1. 配置完成jdk环境。
2023-10-17 09:00:58
418
原创 Tdengine 时序数据库-安装与客户端连接
注意BUG:安装的版本是2.x 就用驱动2.x版本,3.x版 就用3.x版本的驱动,不然会出现,配置完成了,连接数据库很慢.第一次是没有驱动的,就点击下载/更新,驱动列表中选择好驱动的版本,当然你也可以官网下载好,自己编译,我这边已经配置完成,RPM安装比较简单,需要的依赖在安装时自己就连网下载,3.0版本也可以这样安装.首先下载 dbeaver 社区版的,不建议官网下载,真的很慢很慢;点击finish 结束, 双击你的数据库,就可以看到连接成功了!使用的安装RPM的安装方便安装。
2023-06-27 22:22:53
1391
原创 flink13.1 将模拟的实时数据写入的hdfs,并且使用hive可以查询数据
第二步:写代码 增加pom.xml文件,代码中也有kafka的数据源配置,也可以参考,IP地址是我的虚拟机地址,没连接外网无法登陆;解决问题: 解决直接向hive直接写入数据,再不需要配置hive配置文件;若今天是20230608那么dt的时间也是20230608,当然在实际的生产中,可以写个定时任务,定时添加;2.合理设置checkpoint时间,时间越短产生的小文件越多.1.第一步创建hive表并且添加分区,就当前时间为例,1.生产中一定增加checkpoint 存储的目录.
2023-06-07 20:38:28
527
原创 dolphinscheduler 1.3.6 集群部署
大家 基本 用添加 dolphinscheduler 或者ds 用户的方式去部署,每台都是需要添加用户.很麻烦. 这里介绍root 部署.1. 准备环境: zookeeper 3.6.3环境准备 jdk1.8 配置环境2. 免密配置ssh-keygen -t rsa 三台ssh-copy-id hdp1 三台scp /root/.ssh/authorized_keys hdp2:/root/.sshscp /root/.ssh/authorized_keys hdp3:/root/.
2022-04-22 11:31:15
2318
原创 kettle 发送邮件案例
这个案例主要还是以截图为例:第一步创建作业的脚本 其中的组件分别是:【START】 【 转换】 【发送邮件】【 成功】【START】 这里没什么说的,要是想设置定时调度可以设置.【 转换】这里的转换是测试,转换组件中是【空操作】组件【 成功】这里面没什么操作.【发送邮件】:这个组件是我们今天的主要的内容,接下来我一步一步的分析说明怎么配置.好了就这么配置,保存下就可以运行了,大家使用的时候,不能全部参考我的,如果能帮到你全部部署好,那自然最好...
2022-03-09 16:26:42
934
原创 Docker 部署 emqx4.3.12 集群
docker 部署 emqx 集群 自己调研一个周.感觉这个 emqx 集群也是相当价值去研究的,首先安装docker,这里就不在介绍.接下来都在一台服务器上执行的1.docker 中创建网桥docker network create -d bridge --subnet=192.168.174.0/16 emqx_bridge2.执行创建emqx集群脚本第一台docker run -d \--hostname emqx01 \--name emqx01 \--network
2022-02-25 15:24:42
1226
4
原创 flink elasticsearch sink
flink elasticsearch sink 目前我这边电脑资源不够耍,写入虚拟机很慢数据有差异.1.data 数据sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718207,36.3sensor_1,1547718209,32.8sensor_1,1547718212,37.1sensor_1,15477181
2022-02-16 10:52:30
1760
原创 flink 实现redis sink
最近,记录下这些常用的redis es 在fink中作为sink的使用方式,方便,后来使用1.data数据sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718207,36.3sensor_1,1547718209,32.8sensor_1,1547718212,37.1sensor_1,1547718199,35.
2022-02-16 09:40:54
810
原创 docker 部署 springboot 项目
docker 部署 springboot项目 也是第一次使用docker.这里编写个入门的案例,希望有个先驱作用,其他项目也可以仿照这个案例部署.@RestController@RequestMapping(" ")public class HelloController { @GetMapping("/docker") public String testDocker(){ String docker ="test this docker,and check t
2022-01-25 10:21:59
838
原创 linux 部署 Redis单机 Redis集群(主从模式) java开发redis
1.linux 部署 redis单机1.1 上传 tar 并解压安装包,本次部署的版本是 redis-4.0.11tar -zxvf redis-4.0.11.tar.gz1.2 编译安装yum -y install gcc gcc-c++makemake PREFIX=/usr/local/redis-4.0.11 installmkdir /usr/local/redis-4.0.11/etc/cp /opt/soft/redis.conf /usr/local/redis-4.0.
2022-01-19 13:32:25
1096
原创 Elasticsearch集群部署 客户端连接小入门
部署版本: elasticsearch-6.5.3准备三台服务器 19.168.174.204,192.168.174.205,192.168.174.206第一步 : 每台服务器 都创建一个es 用户, elasticsearch不支持root 启动useradd es第二步: 在root 用户下 ,修改es 用户文件打开数ulimit -Hn 查看硬限制vi /etc/security/limits.confes soft nofile 65536es hard nof
2022-01-17 10:20:21
1882
原创 hbase 单机部署
前述:由于自己搜索了网上的所有单机部署,没有一个是可靠,于是研究了下,成功了自己记录方便以后使用. 版本是hbase-2.0.5-bin.tar.gzhbase-env.shexport JAVA_HOME=/opt/soft/jdk1.8.0_141export HBASE_MANAGES_ZK=falsehbase-site.xml<configuration> <property> <name>hbase.rootdir</.
2021-12-15 13:57:12
1565
原创 flink 流处理 批处理 && flink table&& sql 创建方式
object createProgramma { /** * goal: 回忆下 通常情况下 flink 批处理和流处理创建的方式 && flink SQL 创建的两种方式 */ def main(args: Array[String]): Unit = { //批处理的创建方式 val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnviron.
2021-12-03 16:50:09
1173
原创 haproxy emqx centos7 集群部署
1.软件版本选择emqx-centos7-v3.2.8.zip2.修改配置文件 emqx.conf两台服务同时修改参数: cluster.discovery = static cluster.static.seeds = [email protected],[email protected] node.name = [email protected] node.dist_listen_min = 6369...
2021-11-17 16:46:36
306
原创 mysql 几种集群部署模式
1.mysql 常见的部署模式: 一主一从 主主复制 一主多从 多主一从 外加haproxy代理2.主从部署2.1单机安装mysql链接:有道云笔记2.2修改配置文件master[mysqld]basedir=/usr/local/mysql5.7/datadir=/usr/local/mysql5.7/datauser=mysqlmax_connections=20000character-set-server=utf8default-storage-en...
2021-11-17 16:39:07
17866
3
原创 springboot kafka 整合使用 简单demo
一.基本版本信息springboot2.5.5 kafka.2.4.1二.代码部分2.1pom.xml<modelVersion>4.0.0</modelVersion> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifa..
2021-10-14 11:14:06
304
原创 spark 2.4.4 整合 hudi(蝴蝶) 报错集合
1.路径报错org.apache.spark.sql.AnalysisException: Unable to infer schema for Parquet. It must be specified manually.;org.apache.hudi.exception.HoodieException: 'path' must be specified.org.apache.hudi.exception.HoodieException: 'path' must be specified.
2021-09-28 14:36:22
1163
原创 springboot mutil-datasource(多数据源)
这个也算springboot高级阶段了.自己找到的资料 整理下1.工程结构2.pom.xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jdbc</artifactId> </dependency> <dependency> &l..
2021-09-22 13:30:27
276
原创 spark 读写 clickhouse
一.pom.xml<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>2.4.3</version> </dependenc
2021-09-18 17:00:40
1818
原创 创建flink的MqttSource (scala版本)
一.编写 MqttClient类class MqttClient { var url:String="tcp://192.168.174.206:1883" var flag:Boolean=true private val topicArr: Array[Topic] = List(new Topic("topic_test",QoS.AT_LEAST_ONCE),new Topic("topic_test",QoS.AT_MOST_ONCE),new Topic("topic_tes
2021-09-03 16:51:19
1061
原创 Rocket笔记 单机安装 集群安装 Springboot整合Rocket 超精细!!!!
一.单机安装rocketmq-all-4.4.0-bin-release.zip1.启动NameServer# 1.启动NameServernohup sh ./mqnamesrv &# 2.查看启动日志tail -f ~/logs/rocketmqlogs/namesrv.log2. 启动Broker# 1.启动Brokernohup sh ./mqbroker -n localhost:9876 &# 2.查看启动日志tail -f ~/logs/r
2021-08-18 11:27:43
252
原创 rocketmq 安装 双主双从同步模式 报错org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to
org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to <rocketmq-nameserver2:9876> failed at org.apache.rocketmq.remoting.netty.NettyRemotingClient.invokeSync(NettyRemotingClient.java:392) ~[rocketmq-remoting-4.4.0.jar:4.
2021-08-11 09:55:33
1196
6
原创 超强的封装工具-------HUTOOL 工具!!!!
hutool java封装工具 网址https://www.hutool.cn/docs/#/poi/Word%E7%94%9F%E6%88%90-Word07Writer我在本次的博客中介绍20例子.更多的例子可以访问网站官网.1.准备依赖 <description>Demo project for Spring Boot</description> <properties> <java.version>1.8</java.vers
2021-08-09 13:53:30
1437
原创 win10 家庭版 安装docker
目前 win10 家庭版可以安装docker.记录安装的装过程首先确认下自己的电脑版本和是确认开启虚拟化接下来去官网 下载docker桌面版https://desktop.docker.com/win/stable/amd64/Docker%20Desktop%20Installer.exe安装 一定要把 wsl2 那一栏勾上安装后 报不能启动docker 接下安装wsl_update_arm64.msi 这个软件是更新wsl2 方便支持win 10 家庭版 安装dock...
2021-07-16 13:59:00
223
原创 flink CDC (java 版本)
一.flink CDC 目前还有许多要完善的,用起来感觉还不错的,我这边自己研究了下.自己有些心得1.在flink cdc 自定义反序列化器 测试 修改主键后会终止程序 报错 Recovery is suppressed by NoRestartBackoffTimeStrategy我这边没时间继续查找研究.希望有人继续研究吧!2.希望flink cdc 支持 Oracle,这个很重要,成功了也是个壮举啊!二. mysql的配置 mysql肯定都安装 但是初学者找到这个配置确实有点难度指令:..
2021-07-13 15:56:40
2958
原创 springboot RestTemplate 精简整合下 很精简!!
springboot RestTemplate 我个人认为也算是我们说java接口吧,之前没接触过java这类的接口.现在有时间好好的研究下.demo端主要是发送数据的,case端是接收数据端的并返回接收数据一端.demo层的配置:增加一个Users.java 实体类@Data //get set 方法@AllArgsConstructor //全参数构造器@NoArgsConstructor //无参数构造器public class Users { priva.
2021-07-05 09:26:26
241
原创 网络编程(TCP)
1.软件结构1.1 C/S结构全称为Client/Server结构，是指客户端和服务器结构1.2 B/S结构全称为Browser/Server结构，是指浏览器和服务器结构2.网络通信协议网络通信协议：通信协议是对计算机必须遵守的规则，只有遵守这些规则，计算机之间才能进行通信。这就 好比在道路中行驶的汽车一定要遵守交通规则一样，协议中对数据的传输格式、传输速率、传输步骤等做了 统一规定，通信双方必须同时遵守，最终完成数据交换。TCP/IP协议： 传输控制协议/因特网互联..
2021-06-30 11:21:02
276
4
原创 zookeeper-3.6.3 + hadoop-3.1.4+HA 完整版踩坑教程!!
一.准备环境1.准备安装包hadoop-3.1.4.tar.gzapache-zookeeper-3.6.3-bin.tar.gzjdk-8u141-linux-x64.tar.gz2.三台虚拟机服务器2.1三台修改虚拟机名称hostnamectl set-hostname node01hostnamectl set-hostname node02hostnamectl set-hostname node03 2.2三台修改IP映射 /etc/hosts19...
2021-06-16 11:21:46
467
1
原创 Phoenix 部署安装
1.安装bsdtar3yum install -y epel-releaseyum install -y bsdtar32.sa
2021-06-11 11:21:31
143
2
原创 Flink table SQL
批处理的案例object table_batch { def main(args: Array[String]): Unit = { //创建执行的环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment val tableENV: StreamTableEnvironment = StreamTableEnvironment.create(env)
2021-06-11 10:20:27
138
原创 flink checkpoint 窗口函数
1.checkpointobject checkpointMain { def main(args: Array[String]): Unit = { //创建执行的环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment //设置并行度 env.setParallelism(1) env.enableCheckpointing
2021-06-11 10:16:12
364
1
BD09,GCJ02WGS84 三者转化jar
2023-07-31
flume 采集springboot log 简单案例
2022-06-17
Hadoop 2.7.5 编译软件.zip
2021-04-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人