hadoop
文章平均质量分 54
大曲·蜗牛
努力成为一个大数据的大佬
展开
-
flink13.1 将模拟的实时数据写入的hdfs,并且使用hive可以查询数据
第二步:写代码 增加pom.xml文件,代码中也有kafka的数据源配置,也可以参考,IP地址是我的虚拟机地址,没连接外网无法登陆;解决问题: 解决直接向hive直接写入数据,再不需要配置hive配置文件;若今天是20230608那么dt的时间也是20230608,当然在实际的生产中,可以写个定时任务,定时添加;2.合理设置checkpoint时间,时间越短产生的小文件越多.1.第一步创建hive表并且添加分区,就当前时间为例,1.生产中一定增加checkpoint 存储的目录.原创 2023-06-07 20:38:28 · 567 阅读 · 0 评论 -
zookeeper-3.6.3 + hadoop-3.1.4+HA 完整版踩坑教程!!
一.准备环境1.准备安装包hadoop-3.1.4.tar.gzapache-zookeeper-3.6.3-bin.tar.gzjdk-8u141-linux-x64.tar.gz2.三台虚拟机服务器2.1三台修改虚拟机名称hostnamectl set-hostname node01hostnamectl set-hostname node02hostnamectl set-hostname node03 2.2三台修改IP映射 /etc/hosts19...原创 2021-06-16 11:21:46 · 475 阅读 · 1 评论