大数据
文章平均质量分 71
大数据相关技术介绍
小灰灰__
一枚java程序员,分享工作中遇到的各种问题,与大家一起成长,欢迎交流沟通~
展开
-
RisingWave基本操作
RisingWave基本操作原创 2024-05-09 18:01:56 · 792 阅读 · 0 评论 -
Seatunnel单机和集群部署说明
将seatunnel-dist\target目录下的apache-seatunnel-2.3.3-SNAPSHOT-bin.tar.gz上传至服务器。$SEATUNNEL_HOME/bin/stop-seatunnel-cluster.sh -- 每个节点停止集群。./bin/seatunnel-cluster.sh -d -- 每个节点启动集群。解压安装包到/opt/soft/seatunnel目录下。原创 2023-11-14 20:15:30 · 720 阅读 · 0 评论 -
Hive常用操作以及java.io.IOException: java.lang.RuntimeException: ORC split generation failed问题处理
Hive常用操作,增删改查语句原创 2023-09-06 20:34:25 · 750 阅读 · 0 评论 -
SeaTunnel扩展Transform插件,自定义转换插件
SeaTunnel扩展Transform插件,自定义转换插件原创 2023-09-04 19:15:30 · 2073 阅读 · 0 评论 -
Phoenix命令行连接,增删改查常用基本操作
第一次创建有可能会报如下错误,需要修改配置文件修改$HASE_HOME/conf/hbase-site.xml文件和 $PHOENIX_HOME/bin/hbase-site.xml文件,修改完成重启Hbase服务use "test";!desc user;删除所有。原创 2023-07-21 22:59:42 · 364 阅读 · 0 评论 -
datax mysql同步数据到clickhouse配置文件样例及说明
datax mysql同步数据到clickhouse配置文件说明原创 2023-06-28 19:21:31 · 946 阅读 · 0 评论 -
Hadoop常用操作
启动,关闭D:\hadoop-2.8.3\hadoop-2.8.3\sbin>start-all.cmdD:\hadoop-2.8.3\hadoop-2.8.3\sbin>stop-all.cmdstart-all.sh等价于start-dfs.sh + start-yarn.sh单进程启动。sbin/start-dfs.sh--------------- sbin/hadoop-daemons.sh --config .. --hostname .. star...原创 2022-01-25 17:10:28 · 3356 阅读 · 0 评论 -
java生产消费kafka消息
通过java生产消费kafka消息原创 2022-09-09 11:27:28 · 2700 阅读 · 0 评论 -
kafkamap kafdrop 和 cmak功能对比
kafkamap kafdrop 和 cmak功能对比原创 2023-03-03 18:21:57 · 134 阅读 · 0 评论 -
Kafka常用操作:创建,删除,生产,消费topic。Too many open file问题修复。修改偏移量,重新消费。
Topic命令创建topickafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test192.168.6.57:9092,192.168.6.58:9092,192.168.6.59:9092删除topic./kafka-topics.sh –delete -zookeeper kafka-1:2181,kafka-2:2181,kafka-原创 2022-01-25 16:54:07 · 5338 阅读 · 0 评论 -
JMX监控Kafka offset,kafka流量监控,kafka metrics
JMX监控Kafka offset,kafka流量监控,kafka metrics原创 2022-08-30 18:30:27 · 809 阅读 · 0 评论 -
dolphinscheduler3.1.7windows部署启动说明
它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill 任务等操作。已经有IBM、阿里、腾讯、360 等 1000 多家公司生产上使用,下载安装包请去官网。在当前数据库执行sql文件,sql脚本路径dolphinscheduler-dao\src\main\resources\sql\dolphinscheduler_mysql.sql。修改代码中的配置文件,mysql和zookeeper配置(zk为本地启动则不需要修改)原创 2023-05-29 19:27:19 · 1455 阅读 · 4 评论 -
SeaTunnel本地运行以及kafka发送到redis说明
Seatunnel2.3.1源码Idea中的目录结构通过maven进行代码编译编译命令mvn编译单个模块命令mvn编译完通过类来运行这样就运行成功啦附上配置文件样例env {source {Jdbc {sink {Redis {运行结果。原创 2023-05-25 18:45:57 · 2252 阅读 · 8 评论 -
Linux安装并使用seatunnel2.3.1
通常不需要所有的连接器插件,所以你可以通过配置指定你需要的插件config/plugin_config,比如你只需要connector-console插件,那么你可以修改plugin_config为。修改了config下的hazelcast-client.yaml 和hazelcast.yaml。SeaTunnel是一个非常易用的超高性能分布式数据集成平台,支持海量数据的实时同步。将5801改为6801,任意一个没被使用的端口即可。这个命令执行的时间有点长,可以按需加载插件。可以直接通过命令执行。原创 2023-05-23 17:34:26 · 1438 阅读 · 0 评论 -
datax扩展vertica插件
datax扩展vertica插件原创 2022-07-05 19:15:33 · 657 阅读 · 7 评论 -
解决kettle数据处理中报 Field [XXXXX] is required and couldn‘t be found错误
Kettle帮助文档下载刚接触kettle,在做数据处理时候一直提示Field [FIELD_ID] is required and couldn't be found!,FIELD_ID是标识字段,通过自定义常量赋值,模型建立好后一直报错最后发现原因是核心对象使用错误,使用增加常量后不报错...原创 2018-08-24 16:58:38 · 22915 阅读 · 0 评论 -
datax运行job报错问题修复,“位置信息错误,您提供的配置文件[datax/plugin/reader/._xxxx/plugin.json]不存在“
安装完datax,运行自检命令python ./bin/datax.py ./job/job.json提示报错信息位置信息错误,您提供的配置文件[datax/plugin/reader/._xxxx/plugin.json]不存在但是并未在提示目录找到指定文件需要通过命令行查看是否有._开头的文件在datax/plugin目录下执行find ./* -type f -name "._*er"将查到的文件全部删除,可通过此命令执行find ./* -type f -n原创 2022-05-11 10:27:16 · 2697 阅读 · 0 评论