使用Hadoop、Hbase搭建新能源汽车大数据平台

已于 2023-07-04 21:25:55 修改
阅读量207 收藏
点赞数
文章标签： 大数据 hadoop hbase
于 2023-06-30 00:10:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/really_good_girl/article/details/131463662
版权

题目：使用Hadoop、Hbase搭建新能源汽车大数据平台。

前期工作：先进行Hadoop集群的搭建  

1、安装VMware Workstation 16 PRO  

2、基于VMware Workstation 16 PRO安装Centos7

3、准备三台虚拟机，进行完全分布式安装，修改相关配置项

目录

实现要求：1、集群至少要有三个节点；

2、由于条件有限，所以要求集群至少可以存储100G的数据；

3、将HDFS副本数设置为3；

4、NameNode要高可用，即运行两个NameNode进程，同一时刻只有一个对外提供服务的NameNode，如果活跃的NameNode进程所在机器宕机了，整个集群还是可以正常运行的；

5、可以正常提交MapReduce运行；

6、Hbase要集群部署，可正常建表、插入数据和查询数据等；

7、部署一个Mysql数据库，要求可以远程访问。

实现前期配置：

 记得下载镜像文件！！

前期配置参照老师的PPT教程，详见课件。

第一部分：实现集群的三个节点

先设置伪分布式，在进行完全分布式的配置

想要在机器1上，远程控制机器2，常用的方案就是在机器1安装ssh客户端，机器2安装ssh服务端，ssh客户端和ssh服务端之间的通信协议是ssh协议。

设置SSH免密登录，通过用户名、密码的方式远程登录。

在linux系统中ssh命令，就是一个ssh客户端程序，sshd服务，就是一个ssh服务端程序。在windows中，给大家提供的mobaxterm是一个图形化界面的ssh客户端。

接下来进行完全分布式的配置，Hadoop都是采用完全分布式安装，也就是集群部署。在这种模式下，Hadoop是运行在多个主机/节点上的。一般来说，集群部署至少需要三台主机。

之前我们用vmware workstation 15 player创建了一

最低0.47元/天 解锁文章
db_fzl_533
关注
计算机毕业设计springboot基于web的新能源汽车物流接单平台的设计与实现l7uo69【附源码+数据库+部署+LW】
芹心计算机程序设计
08-07 394
选题背景： 随着新能源汽车的快速发展和应用，以及物流行业的不断扩大和升级，建立一套基于Web的新能源汽车物流接单平台具有重要的现实意义和应用价值。传统的物流接单方式存在一些问题，如信息传递不及时、操作繁琐、效率低下等。因此，设计和实现一款基于Web的新能源汽车物流接单平台可以提高物流行业的运作效率，降低能源消耗，推动可持续发展。 意义： 基于Web的新能源汽车物流接单平台的设计与实现具有多方面的意义。首先，该平台可以提高物流行业的运作效率和服务质量。通过平台，物流公司和司机可以方便地进行订单接收、派送路线
Hadoop搭建新能源汽车大数据平台
weixin_64378412的博客
06-16 616
前言为了实现这个平台，我们需要搭建一个Hadoop1集群。同时，下面是集群要求1、集群至少要有三个节点；2、由于条件有限，所以要求集群至少可以存储100G的数据；3、将HDFS副本数设置为3；4、NameNode要高可用，即运行两个NameNode进程，同一时刻只有一个对外提供服务的NameNode，如果活跃的NameNode进程所在机器宕机了，整个集群还是可以正常运行的；5、可以正常提交MapReduce运行；6、Hbase要集群部署，可正常建表、插入数据和查询数据等；
使用Hadoop,Hbase搭建新能源汽车大数据平台
hello_ha_ha的博客
06-29 151
要求1、集群至少要有三个节点；2、由于条件有限，所以要求集群至少可以存储100G的数据；3、将HDFS副本数设置为3；4、NameNode要高可用，即运行两个NameNode进程，同一时刻只有一个对外提供服务的NameNode，如果活跃的NameNode进程所在机器宕机了，整个集群还是可以正常运行的；5、可以正常提交MapReduce运行；6、Hbase要集群部署，可正常建表、插入数据和查询数据等；7、部署一个Mysql数据库，要求可以远程访问。
使用Hadoop、Hbase搭建新能源汽车大数据平台及学习HADOOP的心得体会
jdoedijd的博客
06-29 397
1、编写一个MapReduce程序，每天凌晨2点统计前一天的新能源车辆数据是否有重复数据（所有字段都相同的两条数据则认为是重复数据），并将有重复数据的车辆信息写入到第一题的Mysql数据库的repeat表中（表必须包含字段：数据生成日期、车架号、重复次数。3、编写一个MapReduce程序，每天凌晨4点统计前一天上传的车辆数据中非当天的数据总条数，并将统计结果写到第一题的Mysql数据库的other_date_num表中（表字段必须包含：数据生成日期、非当天的数据总条数）；2.设置虚拟机的储存空间。
Hadoop集群和Hbase集群搭建
jimoshazhouleng360的专栏
03-26 679
废话不多说，直接进去主题。（本人亲自验证过，可行） 1、准备： Hadoop2.6+hbase0.98.1+jdk1.7 Linux centos6.5 2、hadoop2.6完全分布式的安装部署 Linux系统：centos 6.5  32位 2.1 修改主机名和/etc/hosts文件 1）修改主机名（非必要） vi/etc/sysconfig/network
flink增量检查点启动恢复的时间是很久的，业务上不能接受，怎么处理
goTsHgo的博客
09-11 998
针对增量检查点恢复时间长的问题，可以从多个方面进行优化，包括合并检查点、提升存储性能、优化 RocksDB 配置、并行化恢复过程等。同时，也可以考虑替代方案，如多活架构、预热恢复、降低状态依赖和改进状态管理策略。此外，在业务层面上，适当调整业务容忍度和提高用户透明度也是有效的应对措施。通过综合应用这些策略，可以有效地降低恢复时间并提高业务的连续性和可靠性。
Elasticsearch7.x 集群迁移文档
happy_king_zi的博客
09-11 1017
同时检查当前运行集群状态是否为green。如果出现异常，可以配置discovery.zen.ping.unicast.hosts: [“10.200.112.149”, “10.200.112.151”,“10.200.112.153”,“172.31.2.84”, “172.31.0.147”,“172.31.0.94”]，恢复当前关闭节点。操作顺序操作动作1。
【Elasticsearch系列六】系统命令API
最新发布
檀越的博客
09-16 901
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨。
消息中间件有哪些常见类型
weixin_57763462的博客
09-15 485
需要注意的是，这些类型并不是严格互斥的，有些消息中间件可能支持多种消息传递模式或结合了多种类型的特点。在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。在发布/订阅模型中，消息被发布到特定的主题（Topic）上，所有订阅了该主题的消费者都可以接收到这个消息。消息代理是一种更通用的概念，它涵盖了上述的点对点和发布/订阅模型，以及可能的其他消息传递模式。消息代理作为消息的存储和转发中心，负责消息的路由、过滤、持久化等功能。这类消息系统使用日志结构来存储消息，提供了极高的吞吐量和可扩展性。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 646
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
永远好奇，无限进步！
09-12 2360
Flink SQL 是 Apache Flink 提供的一种高层次的查询语言接口，它基于 SQL 标准，为开发者提供了处理流式数据和批处理数据的能力。Flink SQL 允许用户使用标准 SQL 查询语言在数据流和数据表上执行复杂的操作，适用于多种应用场景，如实时分析、数据流处理、机器学习等。Flink SQL 的一大特点是流处理和批处理的统一性。通过同一套 SQL 语法，用户可以同时处理静态数据（批处理）和动态数据（流处理）。这使得应用程序的开发更加简化，因为可以用相同的逻辑编写实时流数据处理和历史数据的
【大数据】探索怎么从一段话中解析关键信息（寄件人相关信息）
一个不断前行的程序者
09-12 582
通过使用Spacy的NLP功能，我们成功实现了从文本中提取姓名、地址和电话号码的功能。需要注意的是，这个简单的示例可能在处理复杂文本时效果不佳，实际应用中可能需要进一步的优化和训练。此外，对于电话号码的识别，我们简单地使用了数字长度作为判断依据，这并不准确。在实际应用中，我们可以使用正则表达式来更准确地识别电话号码。希望这个博客能够帮助你了解如何使用NLP技术实现文本信息解析功能。如果有任何疑问，欢迎在评论区留言讨论！
docker-compose 部署 flink
颹蕭蕭
09-12 683
privileged: true 这行配置启用了 taskmanager 容器的特权模式，使得容器内的进程可以获得几乎与主机上相同的权限。
SpringBoot用kafka.listener监听接受Kafka消息
qq_27860623的博客
09-12 309
【代码】SpringBoot用kafka.listener监听接受Kafka消息。
测试-Testcontainers
Flying_Fish_roe的博客
09-12 615
Testcontainers 允许你通过自定义 Docker 容器，适用于不在官方支持列表中的服务或应用。// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }
SuperMap GIS基础产品FAQ集锦(20240911)
SuperMap技术控
09-12 3304
SuperMap GIS基础产品FAQ集锦(20240911)
海量数据查找最大K个值：数据结构与算法的选择
许你安然的博客
09-13 1057
本文详细探讨了如何在海量数据集中查找最大的K个值，从基础的排序方法到高效的优先队列/堆方法，再到分布式计算框架的应用，以及一些优化策略。通过合理的数据结构和算法选择，我们可以大大提高处理大数据集的效率，确保在有限的时间内获得所需的结果。希望这些信息能够帮助开发者在实际项目中更好地应对大数据处理挑战。
Netty笔记01-Netty的基本概念与用法
weixin_46425661的博客
09-11 915
本文主要讲解Netty的基本概念与用法
Hadoop/HBase与RDBMS：大数据时代的存储选择
这些技术为大数据处理奠定了基础，而HBase在此基础上进一步发展，成为Hadoop平台的一部分。HBase是一个构建在Hadoop之上的分布式存储系统，专为结构化数据设计，由Google的 "Bigtable" 发展而来，发布于2006年。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值