Shell脚本
文章平均质量分 65
ICanDoItHaHa
这个作者很懒,什么都没留下…
展开
-
实时数据项目Kafka之本地模拟
实时数据项目Kafka之本地模拟1.大局准备在集群机器上创建两个文件夹2.数据获取3.数据传输4.数据传输 1.大局准备 在集群机器上创建两个文件夹 一个RealTimeDataReceiver4Shell文件夹,一个RealTimeDW4Shell文件夹 RealTimeDW4Shell负责:1.下载需要的数据文件, 2.把数据文件行读取进行编码传输到url接收器 RealTimeDataReceiver4Shell负责:1.启动java类包,url接收器接收编码的数据然后转发给kafka,2.kafka原创 2020-12-24 21:40:33 · 664 阅读 · 2 评论 -
Kafka - 架构 和 Shell操作案例
1.Kafka架构设计 角色说明 Producer 负责生成消息,并把消息push到broker集群当中 该角色因为通过zookeeper而知道应该push到broker集群的哪个或者哪几个broker中 Broker 负责接收Producer生产者push过来的消息,存储到所在的机器文件中 Consumer Group 每个Consumer属于一个特定的Consumer Group 一条消息可以发送给多个不同的Consumer Group,不同的Group都可以消费统一条消息,但是一个Consumer原创 2020-12-21 20:53:03 · 178 阅读 · 2 评论 -
Shell脚本之编写一个简单的创建表脚本
创建一个create_table.sh文件 脚本代码 #!/bin/bash #数据库名 db_name=dongshaofei #表名 tb_name=new_table #注意partitioned by 是分区字段 代表这是个分区表 不需要分区可以去掉 #hql hive -e " use $db_name CREATE TABLE $tb_name( mid string, retweeted_status_mid string, uid string, retweeted_uid string原创 2020-12-11 10:07:31 · 1680 阅读 · 0 评论