Shell脚本
文章平均质量分 65
ICanDoItHaHa
这个作者很懒,什么都没留下…
展开
-
实时数据项目Kafka之本地模拟
实时数据项目Kafka之本地模拟1.大局准备在集群机器上创建两个文件夹2.数据获取3.数据传输4.数据传输1.大局准备在集群机器上创建两个文件夹一个RealTimeDataReceiver4Shell文件夹,一个RealTimeDW4Shell文件夹RealTimeDW4Shell负责:1.下载需要的数据文件, 2.把数据文件行读取进行编码传输到url接收器RealTimeDataReceiver4Shell负责:1.启动java类包,url接收器接收编码的数据然后转发给kafka,2.kafka原创 2020-12-24 21:40:33 · 711 阅读 · 2 评论 -
Kafka - 架构 和 Shell操作案例
1.Kafka架构设计角色说明Producer负责生成消息,并把消息push到broker集群当中该角色因为通过zookeeper而知道应该push到broker集群的哪个或者哪几个broker中Broker负责接收Producer生产者push过来的消息,存储到所在的机器文件中Consumer Group每个Consumer属于一个特定的Consumer Group一条消息可以发送给多个不同的Consumer Group,不同的Group都可以消费统一条消息,但是一个Consumer原创 2020-12-21 20:53:03 · 203 阅读 · 2 评论 -
Shell脚本之编写一个简单的创建表脚本
创建一个create_table.sh文件脚本代码#!/bin/bash#数据库名db_name=dongshaofei#表名tb_name=new_table#注意partitioned by 是分区字段 代表这是个分区表 不需要分区可以去掉#hqlhive -e "use $db_nameCREATE TABLE $tb_name(mid string,retweeted_status_mid string,uid string,retweeted_uid string原创 2020-12-11 10:07:31 · 1733 阅读 · 0 评论