L1 项目概述与Hadoop部署

已于 2023-09-10 09:58:07 修改
阅读量339 收藏
点赞数
文章标签： hadoop 大数据 分布式
于 2023-09-09 22:33:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tom870223050/article/details/132782862
版权

1.技术栈：Hadoop+Hive+Sqoop+Flume+Azkaban

在这里插入图片描述
在这里插入图片描述

  • Flume采集Nginx web服务器上的日志，采集完成后存储到Hadoop的平台，最终存储到HDFS上，处理和分析采用Hive的方式，处理完之后利用Sqoop导出到Mysql中，最终利用一个JavaWeb的程序进行展现。
  • 使用技术：
  • 数据平台：Hadoop
  • 数据处理分析：Hive
  • 后端服务：SpringBoot + MyBatis
  • 数据可视化：Vue+Echarts
  • 数据迁移：Sqoop
  • 日志采集：Flume
    Hadoop 为用户提供了一个分布式基础架构，核心一个是HDFS分布式文件存储平台，一个是MapReduce。
  • HDFS文件系统原理

在这里插入图片描述

  • Namenode 记录原信息的路径信息
  • Datanodes 存数据的

MapReduce对数据进行处理：切片，以键值对的方式来存储

在这里插入图片描述

  • 分割
  • 建立新键值对
  • 合并相同的值为一个列表

在这里插入图片描述

  • Spark 实时计算引擎
  • Flume 数据采集
  • Sqoop 数据传输与MySql

课程主要精力放在项目流程搭建，工具的使用，业务逻辑分析上

项目部署

采用伪分布式的形式，一台机器模拟多台机器，

部署完成

在这里插入图片描述

lee2813
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop部署与集群运维
02-02
里面讲了一些hadoo是如何部署与运维的知识点，希望对初学者有所帮助！
云计算Hadoop：快速部署Hadoop集群
07-23
资源名称：云计算Hadoop：快速部署Hadoop集群内容简介： 近来云计算越来越热门了，云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源，并按使用量付费。可以...
大数据Hadoop安装部署文档
04-21
主要介绍了Hadoop在windows上伪分布式的安装过程、在Linux单节点伪分布式的安装过程、Eclipse开发环境介绍
云部署中的Hadoop
02-26
本文将了解所有这些问题，并描述基于云的Hadoop部署的挑战与优势。Hadoop系统是一个用起来颇有挑战性的环境，但由于云环境所具有的限制（与自由），云部署会引入额外的复杂性。例如，借助云中的Hadoop，如何处理可变...
hadoop部署步骤.txt
11-11
hadoop集群完全分布式部署，从修改主机名开始，到搭建hive结束，按步骤操作，保证没问题。其中涉及到修改静态IP地址，安装zookeeper，部署hadoop，安装MySQL，安装hive（其中hive为远程模式安装）
Hadoop3：HDFS的架构组成
Brave_heart4pzj的博客
05-07 308
Hadoop
ruoyi漏洞总结
qq_59468567的博客
05-03 810
baseurl 就有了，有的是全的 url，大多数是只给个 baseurl：prod-api，这类。js 下面有个 app.xxxxxx(一些个字母数字).js，直接里面搜。如果页面访问显示不正常，可添加默认访问路径尝试是否显示正常。若依有个特点，密码可能在前台直接显示，点击并能够成功登录。监控中存在大量接口路径，可通过未授权获取更多敏感信息在。图标和登录页面及验证码处的样式识别出若依。认证失败，无法访问系统资源。进行替换实现登录系统。数据库存在未授权访问。
HIVE基本数据类型
2301_77836489的博客
05-03 528
HIVE基本数据类型
《深入理解kafka-核心设计与实践原理》第一章：概念
qq_41157876的博客
05-06 1001
理解：分区 ISR集合中的每个副本都会维护自身的 LEO，而ISR集合中最小的 LEO 即为分区的 HW ，对消费者而言只能消费 HW 之前的消息。总结：kafka通过partition的水平扩展支持高性能，通过replica提升容灾能力。4个broker，3个partition，replica=3（一主两从）
大数据技术概述_4.大数据的应用领域
huaqianzkh的专栏
05-06 725
主要介绍大数据在制造业、服务业、交通行业、医疗行业的应用。
Delta lake with Java--数据增删改查
kanganrui的专栏
05-03 767
里面涉及spark的TimestampType类型，如何将字符串输入到TimestampType列，找了几个小时才找到答案，具体参考了如下连接，原来直接将string转成java.sql.Timestamp即可，于是在网上找了一个方法，实现了转换，转换代码非原创，也是借鉴其他大牛的。之前写的关于spark sql 操作delta lake表的，总觉得有点混乱，今天用Java以真实的数据来进行一次数据的CRUD操作，所涉及的数据来源于Delta lake up and running配套的 Git。
ubantu安装rabbbitmq
最新发布
weixin_61367575的博客
05-09 465
然后通过浏览器访问，如果是本机则可以输入http://127.0.0.1:15672打开登录界面，输入用户名和密码访问web管理界面了。注意：安装的Erlang版本，rabbitmq版本，操作系统要相一致。可参考Installing on Debian / Ubuntu。rabbitmq既可以命令行操作，也可以用rabbitmq自带的web管理界面，只需要启动插件便可以使用。4、安装rabbitmq-server。可以运行命令查看rabbitmq.6、查看rabbitmq状态。5、启动rabbitmq。
基于大数据的医疗信息化系统
zgw555555的专栏
05-09 517
基于大数据的医疗信息化系统通过收集、整合和分析海量的医疗数据，为医疗机构提供决策支持、优化资源配置、提高诊疗质量等方面的帮助。本文将从系统架构、功能特点、应用场景、挑战与对策等方面对基于大数据的医疗信息化系统进行详细阐述。基于大数据的医疗信息化系统是医疗领域的重要发展方向之一，具有广阔的应用前景和深远的社会意义。基于大数据的医疗信息化系统是一个复杂且不断发展的领域，它结合了现代信息技术和医疗专业知识，以提高医疗服务的效率、质量和可及性。以下是一个关于基于大数据的医疗信息化系统的概述。
springboot习题
m0_68728226的博客
05-02 716
2.Spring Boot 中实现 Spring MVC 的扩展功能，要提供实现 WebMvcConfigurer接口的配置类，并开启@EnableWebMvc 注解。C.loginProcessingUrl(String loginProcessingUrl)指定登录表单提交的路径，默认为 POST请求的/login。1.项目中引入 spring-boot-starter-security 依赖后，还需要使用@EnableSecurity 开启安全管理支持。
Delta lake with Java--读《Delta Lake Up and Running》总结
kanganrui的专栏
05-05 502
第三章 Delta lake最基本操作，包括建库，建表，描述表结构，插入数据，查询数据，可以通过3种方式实现，分别是spark sql+sql语句，spark dataframe api，deltatable api，个人觉得用sql语句比较简单。第七章 表结构变化处理，主要是两类处理，一类是固定结构，遇到不一致的就报错，另外一个类就是结构可以根据数据变化，要实现主要在数据写入的时候，设置option("mergeSchema",true)。
大数据技术概述_3.大数据的研究内容
huaqianzkh的专栏
05-05 374
为了应对大数据的研究工作面临的5个方面的挑战，白皮书建议采用现有成熟技术解决大数据带来的挑战，并给出了大数据分析的分析步骤，大致分为数据获取/记录、信息抽取/清洗/注记、数据集成/聚集/表现、数据分析/建模和数据解释5个主要阶段。在每个阶段都面临着各自的研究问题。
大数据技术概述_2.大数据面临的5个方面的挑战
huaqianzkh的专栏
05-05 1148
大数据时代的数据模式随着数据量的不断变化可能会处于不断的变化之中，这就要求索引结构的设计简单、高效，能够在数据模式发生变化时快速调整并适应。目前，存在一些通过在NoSQL数据库上构建索引来应对大数据挑战的一些方案，但总得来说，这些方案基本都有特定的应用场景，且这些场景的数据模式不太会发生变化。2012年冬季，来自IBM、微软、谷歌、HP、MIT、斯坦福、加州大学伯克利分校、UIUC等产业界和学术界的数据库领域专家通过在线的方式共同发布了一个关于大数据的白皮书。②数据产生方式的多样性带来的数据源变化。
分布式数据库有哪几种
yueshu_graph的博客
05-08 789
数据库的发展从早期的单机数据库，到现在的分布式数据库。在单机数据库时代，所有的数据都存储在单机中，随着计算机技术的发展，开始出现了多台计算机联合处理数据的需求，从而诞生了分布式数据库。是将多个数据库进行整合，通过互联网连接起来。利用互联网技术可以将多台服务器进行集中管理。比如腾讯云就有多个不同类型的数据库产品，如 MySQL、 Oracle、 Redis等等。
Hbase 常用shell操作
lIujunXHU的博客
05-06 1030
通过shell的方式来维护和管理HBase。例如：执行建表语句、执行增删改查操作等等。
基于hadoop云盘系统项目概述
05-19
Hadoop云盘系统是一种基于Hadoop分布式计算框架的云存储系统，它可以提供大规模的数据存储、管理和处理。该系统主要由Hadoop分布式文件系统（HDFS）和Hadoop MapReduce计算框架组成，能够支持PB级数据的存储和处理。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值