大数据仓库项目day4

最新推荐文章于 2022-11-17 14:33:40 发布
最新推荐文章于 2022-11-17 14:33:40 发布
阅读量238 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44927239/article/details/105242854
版权

1 接着day3的kafka 之前安装好了 

在/home/atguigu/bin目录下创建脚本kf.sh

[atguigu@hadoop102 bin]$ vim kf.sh

在脚本中填写如下内容

#! /bin/bash

 

case $1 in

"start"){

        for i in hadoop102 hadoop103 hadoop104

        do

                echo " --------启动 $i kafka-------"

                # 用于KafkaManager监控

 

                ssh $i "export JMX_PORT=9988 && /opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties "

        done

};;

"stop"){

        for i in hadoop102 hadoop103 hadoop104

        do

                echo " --------停止 $i kafka-------"

                ssh $i "ps -ef | grep server.properties | grep -v grep| awk '{print $2}' | xargs kill >/dev/null 2>&1 &"

        done

};;

esac

注意：启动Kafka时要先开启JMX端口，是用于后续KafkaManager监控。

2）增加脚本执行权限

[atguigu@hadoop102 bin]$ chmod 777 kf.sh

3）kf集群启动脚本

[atguigu@hadoop102 module]$ kf.sh start

4）kf集群停止脚本

[atguigu@hadoop102 module]$ kf.sh stop

创建 Kafka topic

进入到/opt/module/kafka/目录下分别创建：启动日志主题、事件日志主题。

1）创建启动日志主题

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181,hadoop103:2181,hadoop104:2181  --create --replication-factor 1 --partitions 1 --topic topic_start

2）创建事件日志主题

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181,hadoop103:2181,hadoop104:2181  --create --replication-factor 1 --partitions 1 --topic topic_event

 删除 Kafka topic

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --delete --zookeeper hadoop102:2181,hadoop103:2181,hadoop104:2181 --topic topic_start

 

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --delete --zookeeper hadoop102:2181,hadoop103:2181,hadoop104:2181 --topic topic_event

查看某个Topic的详情

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 \

--describe --topic topic_start

2Kafka Manager安装

1）下载地址

https://github.com/yahoo/kafka-manager

下载之后编译源码，编译完成后，拷贝出：kafka-manager-1.3.3.22.zip

2）拷贝kafka-manager-1.3.3.22.zip到hadoop102的/opt/module目录

[atguigu@hadoop102 module]$ pwd

/opt/module

3）解压kafka-manager-1.3.3.22.zip到/opt/module目录

[atguigu@hadoop102 module]$ unzip kafka-manager-1.3.3.22.zip

4）进入到/opt/module/kafka-manager-1.3.3.22

[atguigu@hadoop102 module]$ cd /opt/module/kafka-manager-1.3.3.22/

5）启动KafkaManager

[atguigu@hadoop102 kafka-manager-1.3.3.22]$ export ZK_HOSTS="hadoop102:2181,hadoop103:2181,hadoop104:2181"

nohup bin/kafka-manager   -Dhttp.port=7456 >start.log 2>&1 &

3Kafka Manager启动停止脚本

1）在/home/atguigu/bin目录下创建脚本km.sh

[atguigu@hadoop102 bin]$ vim km.sh

在脚本中填写如下内容

#! /bin/bash

 

case $1 in

"start"){

        echo " -------- 启动 KafkaManager -------"

        cd /opt/module/kafka-manager-1.3.3.22/

        export ZK_HOSTS="hadoop102:2181,hadoop103:2181,hadoop104:2181"

        nohup bin/kafka-manager   -Dhttp.port=7456 >start.log 2>&1 &

};;

"stop"){

        echo " -------- 停止 KafkaManager -------"

        ps -ef | grep ProdServerStart | grep -v grep |awk '{print $2}' | xargs kill

};;

esac

2）增加脚本执行权限

[atguigu@hadoop102 bin]$ chmod 777 km.sh

3）km集群启动脚本

[atguigu@hadoop102 module]$ km.sh start

4）km集群停止脚本

[atguigu@hadoop102 module]$ km.sh stop

3.1Kafka Producer压力测试

1）在/opt/module/kafka/bin目录下面有这两个文件。我们来测试一下

[atguigu@hadoop102 kafka]$ bin/kafka-producer-perf-test.sh  --topic test --record-size 100 --num-records 100000 --throughput 1000 --producer-props bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092

说明：throughput 是每秒多少条信息，record size是一条信息有多大，单位是字节。num-records是总共发送多少条信息。

3.2Kafka Consumer压力测试

bin/kafka-consumer-perf-test.sh --zookeeper hadoop102:2181 --topic test --fetch-size 10000 --messages 10000000 --threads 1

4Flume消费Kafka数据写到HDFS

在hadoop104的/opt/module/flume/conf目录下创建kafka-flume-hdfs.conf文件
[atguigu@hadoop102 conf]$ vim kafka-flume-hdfs.conf
在文件配置如下内容


## 组件
a1.sources=r1 r2
a1.channels=c1 c2
a1.sinks=k1 k2

## source1
a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.batchSize = 5000
a1.sources.r1.batchDurationMillis = 2000
a1.sources.r1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.sources.r1.kafka.zookeeperConnect = hadoop102:2181,hadoop103:2181,hadoop104:2181
a1.sources.r1.kafka.topics=topic_start

## source2
a1.sources.r2.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r2.batchSize = 5000
a1.sources.r2.batchDurationMillis = 2000
a1.sources.r2.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.sources.r2.kafka.zookeeperConnect = hadoop102:2181,hadoop103:2181,hadoop104:2181
a1.sources.r2.kafka.topics=topic_event

## channel1
a1.channels.c1.type=memory
a1.channels.c1.capacity=100000
a1.channels.c1.transactionCapacity=10000

## channel2
a1.channels.c2.type=memory
a1.channels.c2.capacity=100000
a1.channels.c2.transactionCapacity=10000

## sink1
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /origin_data/gmall/log/topic_start/%Y-%m-%d
a1.sinks.k1.hdfs.filePrefix = logstart-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 30
a1.sinks.k1.hdfs.roundUnit = second

##sink2
a1.sinks.k2.type = hdfs
a1.sinks.k2.hdfs.path = /origin_data/gmall/log/topic_event/%Y-%m-%d
a1.sinks.k2.hdfs.filePrefix = logevent-
a1.sinks.k2.hdfs.round = true
a1.sinks.k2.hdfs.roundValue = 30
a1.sinks.k2.hdfs.roundUnit = second

## 不要产生大量小文件
a1.sinks.k1.hdfs.rollInterval = 30
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollCount = 0

a1.sinks.k2.hdfs.rollInterval = 30
a1.sinks.k2.hdfs.rollSize = 0
a1.sinks.k2.hdfs.rollCount = 0

## 控制输出文件是原生文件。
a1.sinks.k1.hdfs.fileType = CompressedStream 
a1.sinks.k2.hdfs.fileType = CompressedStream 

a1.sinks.k1.hdfs.codeC = lzop
a1.sinks.k2.hdfs.codeC = lzop

## 拼装
a1.sources.r1.channels = c1
a1.sinks.k1.channel= c1

a1.sources.r2.channels = c2
a1.sinks.k2.channel= c2

4日志消费Flume启动停止脚本

1）在/home/atguigu/bin目录下创建脚本f2.sh

[atguigu@hadoop102 bin]$ vim f2.sh

在脚本中填写如下内容

#! /bin/bash

 

case $1 in

"start"){

        for i in hadoop104

        do

                echo " --------启动 $i 消费flume-------"

                ssh $i "nohup /opt/module/flume/bin/flume-ng agent --conf-file /opt/module/flume/conf/kafka-flume-hdfs.conf --name a1 -Dflume.root.logger=INFO,LOGFILE >/opt/module/flume/log.txt   2>&1 &"

        done

};;

"stop"){

        for i in hadoop104

        do

                echo " --------停止 $i 消费flume-------"

                ssh $i "ps -ef | grep kafka-flume-hdfs | grep -v grep |awk '{print \$2}' | xargs kill"

        done

 

};;

esac

2）增加脚本执行权限

[atguigu@hadoop102 bin]$ chmod 777 f2.sh

3）f2集群启动脚本

[atguigu@hadoop102 module]$ f2.sh start

4）f2集群停止脚本

[atguigu@hadoop102 module]$ f2.sh stop

5 集群的启动停止脚本

1）在/home/atguigu/bin目录下创建脚本cluster.sh
[atguigu@hadoop102 bin]$ vim cluster.sh
	在脚本中填写如下内容
#! /bin/bash

case $1 in
"start"){
	echo " -------- 启动 集群 -------"

	echo " -------- 启动 hadoop集群 -------"
	/opt/module/hadoop-2.7.2/sbin/start-dfs.sh 
	ssh hadoop103 "/opt/module/hadoop-2.7.2/sbin/start-yarn.sh"

	#启动 Zookeeper集群
	zk.sh start

	#启动 Flume采集集群
	f1.sh start

	#启动 Kafka采集集群
	kf.sh start

sleep 4s;

	#启动 Flume消费集群
	f2.sh start

	#启动 KafkaManager
	km.sh start
};;
"stop"){
        echo " -------- 停止 集群 -------"

	#停止 KafkaManager
	km.sh stop

    #停止 Flume消费集群
	f2.sh stop

	#停止 Kafka采集集群
	kf.sh stop

    sleep 4s;

	#停止 Flume采集集群
	f1.sh stop

	#停止 Zookeeper集群
	zk.sh stop

	echo " -------- 停止 hadoop集群 -------"
	ssh hadoop103 "/opt/module/hadoop-2.7.2/sbin/stop-yarn.sh"
	/opt/module/hadoop-2.7.2/sbin/stop-dfs.sh 
};;
esac
2）增加脚本执行权限
[atguigu@hadoop102 bin]$ chmod 777 cluster.sh
3）cluster集群启动脚本
[atguigu@hadoop102 module]$ cluster.sh start
4）cluster集群停止脚本
[atguigu@hadoop102 module]$ cluster.sh stop

 

 

关于flume无法消费到hdfs问题

去core-site.xml配置

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
                <name>fs.defaultFS</name>
      <value>hdfs://hadoop102:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

<property>
<name>io.compression.codecs</name>
<value>
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec
</value>
</property>
<property>
    <name>io.compression.codec.lzo.class</name>
    <value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
</configuration>

 

Timelesszk
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数据仓库之【用户行为数仓】01：项目效果展示、背景
weixin_40612128的博客
03-10 589
一、项目效果展示 大家好，下面我们来学习一个电商行业的数据仓库项目 首先看一下项目效果 本身我们这个数据仓库项目其实是一个纯后台项目，不过为了让大家能够更加直观的感受项目的效果，我们可以基于数据仓库中的数据统计一些指标进行展现。 我们这个项目要讲的重点不是这个大屏，这个大屏只是一个效果，为了让大家感受更加直观一些而已，我们主要讲的是这些指标对应的底层数据是如何在数据仓库中一层一层构建的。 二、项目的由来 接下来我们来看一下这个项目的由来，我们为什么要做这个数据仓库项目呢？或者说做这个数据仓库项目有什么意义
企业级大数据项目之数据仓库.docx
07-22
当前，所有应用到大数据的公司都需要建设企业数据仓库，以服务于数据分析和为企业决策、产品优化、产品运营等提供稳定可靠的数据支持，因此，数据仓库的建设在公司数据的E(抽取)、T(转化)、L(加载)流程中起到至关重要的地位。 本项目将数仓分为三层，分别是ODS层(贴源层)、DW层(数仓层)和APP层(应用层)，其中DW层中包含事实层、维度层、宽表层，为了达到拿空间换时间的目的，由事实层中的事实表和维度层的维度表关联形成宽表层。
大数据真实数仓项目完整版
12-21
大数据阶段真实项目，数据仓库完整项目，包括项目分析，如何实现。
数据仓库概述
汪巡的博客
09-26 404
最近开始接触数据仓库，要了解一项技术或者一个工具，就得先去了解它在某个链路中所处的位置，以及它的出现是为了解决什么问题，那么就有了这篇文章，从数据仓库的诞生环境、所能解决的问题以及主流的上层架构，简单介绍了数据仓库这项技术。 产生背景 数据仓库的诞生离不开环境的因素，在数据量加剧的当今社会和数据分析挖掘需求日益增加的环境下，传统面向业务的MySQL、Oracle等OLTP型数据库已经不能满足当下一些特殊的需求。OLTP型数据库主要是解决业务需求，构造也具有遵循3NF范式，避免冗余等特点，但这些特点在面向分析
CC00001.pbpositions——|Hadoop&PB级数仓.V01|——|PB数仓.v01|数据仓库|项目背景|
yanqi_vip
04-10 77
一、项目背景 ### --- 项目背景 ~~~ 人类正从IT时代走向DT(Data Technology)时代。 ~~~ 在DT时代，人们比以往任何时候更能收集到更丰富的数据。 ~~~ IDC 的报告显示：预计到2020年，全球数据总量将超过40ZB(相当于40 万亿GB)， ~~~ 这一数据量是2011年的22倍。正在呈“爆炸式”增长的数据，其潜在的...
大数据学习思维导图day_01
01-02
大数据学习笔记，主要是保存一下，方便后期复习。有发现错误的朋友，欢迎随时指正。
Python项目高手训练营 Python大数据+教育行业项目实战开发 Python高级项目剖析
08-22
├─01_day1_01_项目的基本简介.mp4 ├─02_day1_02_教育项目背景介绍.mp4 ├─03_day1_03_业务流程说明.mp4 ├─04_day1_04_教育项目涉及到五大模块说明.mp4 ├─05_day1_05_教育项目五大模块的需求简单说明.mp4 ├...
最新大数据项目实战实时数仓13G
04-10
│ │ 010-采集模块（日志采集 Web项目初体验）.avi │ │ 012-采集模块（日志采集 将数据落盘&写入Kafka 测试）.avi │ │ 015-采集模块（日志采集 Nginx 配置负载均衡的反向代理）.avi │ │ 017-...
大数据day0902
08-22
大数据day0902
大数据day0901
08-22
大数据day0901
大数据之路-数据仓库概述
PlainWaterh的博客
11-14 1453
原来在学校实验室也进行过开发工作，有一定的项目经验，后来也靠这些项目经验以实习生的身份加入了现公司。 但是万万没想到，加入的是大数据部门啊，导致现在一直在补大数据相关的知识。 最后悔的是之前也有参加过一个大数据的特色班，可惜那时候没好好学，一直忙着实验室的Java后台的一些项目，难受~ 好了，牢骚也发完了。今天也把之前的一些课件翻了出来，重新学习一下，然后对数据仓库进行一个理解和总结。 本文主要分...
项目背景介绍
weixin_30868855的博客
02-18 170
Adventure 项目（1） 墨翟坐在办公室里，正和秘书 Alan 开会，讨论着一件让他和 Alan 都很烦心的事情。Adventure 在全球都有工厂，制造各种不同的产品。作为制造部门的负责人，墨翟需要每个月了解各个工厂的运行情况，比如有没有故障停工啊、平均单位生产成本啊、首件合格率啊等等。“问题在于，”墨翟说到，“这些工厂的人对 IT 很不感冒，连 Excel 都用不好。他们每个月发过来...
大数据框架群起脚本
底层码农
04-16 7756
大数据框架群起脚本
离线数仓搭建_09_ODS层数据导入
勇敢牛牛，不怕困难！
09-21 1056
本文为数仓搭建的第一层，即为ODS原始数据层，主要是将原始数据导入到hive中。
Hadoop安装和配置
江湖行骗老中医
04-11 1500
注意：安装JDK类似，解压后配置环境变量 0. Hadoop下载地址： https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ 1. 用SecureCRT工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面 切换到sftp连接页面，选择Linux下编译的hadoop jar包拖入，如图...
离线数仓01——概念与设计思路
weixin_54936485的博客
11-17 1227
离线数仓搭建之概念、搭建思路以及各个服务器结点之间的部署
大数据GitHub项目-学习必备
ytp552200ytp的博客
06-13 1764
大数据GitHub项目-学习必备
数仓项目kafka-hdfs
qq_42506914的博客
03-28 484
## 组件 a1.sources=r1 r2 a1.channels=c1 c2 a1.sinks=k1 k2 ## source1 a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource a1.sources.r1.batchSize = 5000 a1.sources.r1.batchDurationMillis = 2...
数据仓库项目分析_数据分析项目：仓库库存
weixin_26746401的博客
08-22 1114
数据仓库项目分析The code for this project can be found at my GitHub. 该项目的代码可以在我的GitHub上找到 。 介绍 (Introduction) The goal of this project was to analyse historic stock/inventory data to decide how much stock o...
大数据专业学生实训日记
最新发布
04-02
Day 4: 今天我们进行了一个实际的项目，我们需要使用大数据技术来分析一堆销售数据。我们使用了Hadoop和Spark来处理数据，使用了Pig和Hive来进行查询和转换。最后，我们使用了机器学习算法来预测未来的销售趋势。这...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值