![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据栏目
文章平均质量分 94
搜集大数据类文章
咖喱东东
程序员菜鸟
展开
-
Kafka源码解析-生产者
平时使用kafka的过程中,总觉得生产者发送消息是简单的,这是因为在工作中只需要确认生产者和消费者发送和接收消息的内容,就可以完成我们的工作,但是实际上不是的,我们需要考虑不同业务场景的适用性,调整我们的配置方案。原创 2023-04-01 20:38:19 · 1000 阅读 · 1 评论 -
单机Docker部署应用Kraft模式的Kafka集群
以ubuntu系统为基础,封装自己的镜像,使用单台主机模拟三台主机部署kraft模式的Kafka集群。原创 2023-01-02 15:45:08 · 2823 阅读 · 0 评论 -
实现Kafka至少消费一次
在实际重要的场景中,常常需要实现消费者至少消费一次。因为使用默认的kafka消费者存在某些问题。原创 2022-12-22 16:47:38 · 1796 阅读 · 0 评论 -
使用Hadoop分析气象数据完整版(附带完整代码)
《分布式》布置了一道小作业,让我花了7天时间学习了Hadoop。。。现在终于可以正式地做这个作业了,记录一下。使用Hadoop分析气象数据1 获取数据1.1 下载数据1.2 数据格式1.3 合并数据2 MapReduce处理数据2.2 环境配置,启动集群2.1 上传到HDFS2.2 编写MapReduce代码1 获取数据1.1 下载数据注意:为了不出现横向拖拉,命令里我加了换行,所有命令都是如此。获取命令:wget -D --accept-regex=REGEX -P data -r -.原创 2020-06-05 10:26:49 · 53504 阅读 · 99 评论 -
大数据学习系列:Hadoop3.0苦命学习(七)
传送门:大数据学习系列:Hadoop3.0苦命学习(一)大数据学习系列:Hadoop3.0苦命学习(二)大数据学习系列:Hadoop3.0苦命学习(三)大数据学习系列:Hadoop3.0苦命学习(四)本节主要学习Azkaban。目录1 Azkaban 介绍1.1 为什么需要Azkaban1.2 常见工作流调度系统1.3 各种调度工具特性对比1.5 Azkaban 是什么2 安装2.1 编译2.2 Azkaban 单服务模式安装与使用Step 1: 解压Step 2: 修改时区配置文件Step原创 2020-05-25 15:38:52 · 3106 阅读 · 1 评论 -
大数据学习系列:Hadoop3.0苦命学习(六)
传送门:大数据学习系列:Hadoop3.0苦命学习(一)大数据学习系列:Hadoop3.0苦命学习(二)大数据学习系列:Hadoop3.0苦命学习(三)大数据学习系列:Hadoop3.0苦命学习(四)本节主要学习Flume。目录1 Flume 介绍1.1 概述1.2 运行机制1.3 Flume 结构图2.1 Flume 的安装部署Step 1: 下载解压修改配置文件Step 2 开发配置文件Step 3 启动配置文件Step 4 安装 Telnet 准备测试2.2. 采集案例2.2.3 采集原创 2020-05-24 11:11:40 · 1224 阅读 · 1 评论 -
大数据学习系列:Hadoop3.0苦命学习(五)
传送门:大数据学习系列:Hadoop3.0苦命学习(一)大数据学习系列:Hadoop3.0苦命学习(二)大数据学习系列:Hadoop3.0苦命学习(三)大数据学习系列:Hadoop3.0苦命学习(四)目录1 什么是数仓1.1 基本概念1.2 主要特征1.2.1 面向主题1.2.2 集成性1.2.3 非易失性(不可更新性)1.2.4 时变性1.3 数据库与数据仓库的区别1.4 数仓的分层架构1.5 数仓的元数据管理2 Hive 的基本概念2.1 Hive 简介2.2 Hive 架构2.3 Hive原创 2020-05-23 19:35:41 · 3736 阅读 · 0 评论 -
大数据学习系列:Hadoop3.0苦命学习(四)
目录1 MapReduce 中的计数器1 MapReduce 中的计数器计数器是收集作业统计信息的有效手段之一,用于质量控制或应用级统计。计数器还可辅助诊断系统故障。如果需要将日志信息传输到 map 或 reduce 任务, 更好的方法通常是看能否用一个计数器值来记录某一特定事件的发生。对于大型分布式作业而言,使用计数器更为方便。除了因为获取计数器值比输出日志更方便,还有根据计数器值统计特定事件的发生次数要比分析一堆日志文件容易得多。hadoop内置计数器列表MapReduce 任原创 2020-05-22 17:49:54 · 1476 阅读 · 1 评论 -
大数据学习系列:Hadoop3.0苦命学习(三)
Hadoop学习(三)之 MapReduce1 MapReduce 介绍1.1 MapReduce 设计构思和框架结构2 MapReduce 编程规范3 WordCountStep 1 数据格式准备Step 2. MapperStep 3. Reducer1 MapReduce 介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。Map 负责“分”,即把复杂的任务分解为若干个“简单原创 2020-05-20 23:11:09 · 2051 阅读 · 0 评论 -
大数据学习系列:Hadoop3.0苦命学习(二)
Hadoop学习(二)1. HDFS1.1. 设计目标1.2. HDFS 的历史1.3. HDFS 的架构1.4. HDFS 文件副本和 Block 块存储1.4.1. 引入块机制的好处1.4.2. 块缓存1.4.3. HDFS 文件权限验证1.5. HDFS 的元信息和 SecondaryNameNode1.5.1. FsImage 和 Edits 详解1.5.2. fsimage 中的文件信息查看1.5.3. edits 中的文件信息查看1.5.4. SecondaryNameNode 如何辅助管理 f原创 2020-05-20 09:10:43 · 2586 阅读 · 0 评论 -
大数据学习系列:Hadoop3.0苦命学习(一)
内容包括:(1)Hadoop的介绍(2)集群环境搭建准备工作(3)Linux命令和Shell脚本增强(4)集群环境搭建Hadoop学习(一)1 大数据概述2 Hadoop介绍2.1 问题一: 大文件怎么存储?2.2 问题二: 大数据怎么计算?2.3 问题三: 如何将这些计算任务跑在集群中?2.4 Hadoop 的组成1 大数据概述大数据:就是对海量数据进行分析处理,得到一些有价值的信息,然后帮助企业做出判断和决策。处理流程:获取数据处理数据展示结果2 Hadoop介绍Ha.原创 2020-05-19 10:39:35 · 8090 阅读 · 0 评论 -
VMware启动三台Centos7虚拟机黑屏问题
VMware15启动Centos7黑屏问题解决方案问题描述:一启动就黑屏,想关闭虚拟机还不行!,如下图:解决方案(1)任务管理器干掉它(2)在虚拟机安装目录下干掉下面俩(3)重新启动Windows(4)重启启动虚拟机...原创 2020-05-20 17:52:51 · 1397 阅读 · 2 评论