大数据
文章平均质量分 58
阿豪咿呀
人生路上,你没有耐心去等待成功,那么你只有用一生去面对失败。
展开
-
kafka3.1集群搭建(kraft模式)
导读我公司有一个项目现场那边说zk有漏洞,所以我们就打算部署一套不依赖zookeeper的kafka高版本集群,也就是Kraft模式。Apache Kafka3.0.0的发布为kafka彻底去掉Zookeeper铺平了道路,Kafka Raft 支持元数据主题的快照以及自我管理,而3.1.0版本在2022.1.24发布,对3.0.0版本又修改了。我们先来初步体验一下KRaft的入门。KRaft简介Kafka的共识机制KRaft,仍然处于预览机制。未来KRaft将作为Apache Kafka的原创 2022-01-28 14:19:13 · 13419 阅读 · 8 评论 -
Prometheus +Grafana 监控cm大数据服务机器节点资源以及集群进程与服务状况
Prometheus + node_exporter +Grafana 监控安装部署一、node_exporter安装与配置node_exporter是Prometheus的一个插件,部署该插件,可以将本地机器的系统资源信息筹集并发送给Prometheus。在需要监控的机器上面都要安装该插件。这里我只演示监控我的两台机器192.168.0.113,192.168.0.114进入到http://prometheus.io/download官网,或者使用我给的安装包#下载安装包并上传服务器/so原创 2022-01-24 11:21:43 · 5799 阅读 · 26 评论 -
2021-07-20
[root@node01 server]# start-dfs.sh Starting namenodes on [node01]ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.Starting namenodes on [node01]ERROR: Attempting to operate on h原创 2021-07-20 16:40:14 · 337 阅读 · 0 评论 -
sqoop export参数update-mode两种模式allowinsert和updateonly
[李国豪](sqoop export参数update-mode两种模式allowinsert和updateonly)参数说明1.更新导出(updateonly模式)– update-key,更新标识,即根据某个字段进行更新,例如id,可以指定多个更新标识的字段,多个字段之间用逗号分隔。– updatemode,指定updateonly(默认模式),仅仅更新已存在的数据记录,不会插入新纪录。2.更新导出(allowinsert模式)– update-key,更新标识,即根据某个字段进行更新,例如i原创 2020-11-23 22:50:02 · 4198 阅读 · 0 评论