大数据疑难杂症
文章平均质量分 55
日常工作遇到的问题记录
留梦言
道虽迩,不行不至;事虽小,不为不成。
展开
-
记一次Seatunnel同步数据速度测试
seatunnel速度测试原创 2024-01-08 19:00:03 · 863 阅读 · 1 评论 -
Zookeeper报错记录
4、使用 deleteall /brokers/topics/【topic name】命令进行删除;3、删除topic: rmr /brokers/topics/【topic name】启动zookeeper失败提示8080端口被占用,这是zookeeper3.5的特性。2、找到topic所在目录查看topic列表:ls /brokers/topics。** adminServer的相关配置可以查看zookeeper源码了解 **修改后再次启动zookeeper,查看启动日志,启动成功。原创 2023-12-20 18:58:12 · 754 阅读 · 0 评论 -
ETL和ETL优缺点以及未来趋势
etl elt原创 2023-12-20 13:50:58 · 1098 阅读 · 0 评论 -
Chat2DB——AI驱动的数据库管理系统
chat2db原创 2023-12-20 10:55:30 · 908 阅读 · 0 评论 -
Scaleph——可视化拖拉拽构建Seatunnel任务
Scaleph项目具有数据集成,开发,作业调度和编排功能,旨在在云环境中运行。它致力于提供一站式数据平台,简化数据应用的开发。Scaleph希望帮助人们聚集和分析数据,释放数据的内在价值,并从中获利。为每一位数据开发者轻松提供Flink生态系统。Jar用户使用DataStream或Table API开发flink jar作业,并将其打包为jarSQL 用户通过SQL Gateway在SQL在线编辑器后台开发flink SQL作业,然后将其部署为SQL作业。原创 2023-12-18 20:29:06 · 1319 阅读 · 0 评论 -
Seatunnel从postgresql同步到mysql
Seatunnel、pgsql、mysql、数据同步原创 2023-12-18 19:02:25 · 800 阅读 · 0 评论 -
Seatunnel从陌生到熟悉
在SeaTunnel中,最重要的是Config文件,通过它用户可以自定义自己的数据 同步要求,以最大限度地发挥海底隧道的潜力。在transform中可以source取的的数据进行进一步处理,如果不需要处理,不用做任何设置,为空即可。Seatunnel脚本的逻辑流程为source-> tranform -> sink。,关于这种格式类型的更多细节可以参考。source用设置从哪里同步数据.sink用于设置将数据同步到哪里。tranform可设置的插件有。,顺便说一句,我们也支持。3.nullif用法。原创 2023-12-18 18:33:52 · 1143 阅读 · 0 评论 -
Clickhouse Engine kafka 将kafka数据同步clickhouse
clickhouse支持kafka的表双向同步,其中提供的为Kafka引擎。其大致情况为如下情况:Kafka主题中存在对应的数据格式,Clickhouse创建一个Kafka引擎表(即相当于一个消费者),当主题有消息进入时,获取该消息,将其进行消费,然后物化视图同步插入到MergeTree表中。该引擎还支持反向写入到Kafka中,即往Kafka引擎表中插入数据,可以同步到Kafka中(同样可以使用物化视图将不同引擎需要的表数据同步插入到Kafka引擎表中)。原创 2023-12-18 15:59:20 · 1271 阅读 · 0 评论 -
Atlas汉化去登录
改这2个地方,就是拦截的请求乱写一个,就拦截不到正常请求了。修改atlas\WEB-INF\web.xml文件。需要改好的文件可以联系我哦。二、汉化替换js文件。原创 2023-12-18 15:24:06 · 360 阅读 · 0 评论 -
hive汉字乱码问题解决
hive汉字乱码问题解决原创 2023-12-18 15:19:25 · 522 阅读 · 0 评论 -
hadoop漏洞病毒入侵过程
hadoop漏洞病毒入侵过程原创 2023-12-18 15:10:59 · 479 阅读 · 0 评论 -
hadoop3.X.Xweb页面中部分操作权限拒绝问题
我在浏览器创建目录和删除目录及文件,为什么会是dr.who,dr.who其实是hadoop中http访问的静态用户名,并没有啥特殊含义,可以在core-default.xml中看到其配置。另外,通过查看hdfs的默认配置hdfs-default.xml发现hdfs默认是开启权限检查的。我们可以通过修改core-site.xml,配置为当前用户,原创 2023-12-18 14:59:55 · 479 阅读 · 0 评论 -
DataSophon组件升级——flink为例
DataSophon组件升级原创 2023-12-18 14:30:52 · 545 阅读 · 0 评论 -
kafka启动错误——The Cluster ID ... doesn‘t match stored clusterId Some(...) in meta.properties.
kafka启动报错原创 2023-12-18 14:05:41 · 2200 阅读 · 0 评论