大数据修炼之旅
文章平均质量分 93
大数据修炼之旅,有趣详细,有质量,一起开启有趣的探索吧!
缘友一世
我是缘友一世博主,热爱技术、热衷于分享。我的博客专注于计算机科学和软件开发领域的学习和实践经验。在博客中,你可以找到各种编程语言的深入解析和实用技巧。我致力帮助读者更好地理解和应用技术。同时,我也关注技术行业的发展趋势和前沿研究。感谢您的关注和支持!部分文章内容辅助使用gpt等人工智能编辑,如果出现错误之处,请指正
展开
-
大数据复习练习
CAP是一致性(Consistency)、可用性(Availability)和分区容错性(Partition Tolerance)。NameNode:hadoop中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问,保存有元数据。DataNode:负责管理连接到节点的存储。每个存储数据的节点运行一个datanode守护进程。MongoDB(分布式非关系型数据库)Redis(键值型非关系型数据库)MySQL(关系型数据库)HDFS代码命令解释题目。Hbase命令解释题。原创 2024-06-23 18:54:12 · 1833 阅读 · 0 评论 -
云数据库认识
云数据库厂商主要分为三类。① 传统的数据库厂商,如 Oracle、IBM DB2 和 Microsoft SQL Server② 涉足数据库市场的云数据库厂商,如 Amazon、Google、阿里、百度、腾讯③ 新兴厂商,如 Vertica、LongJump 和 EnterpriseDBUMP 系统是低成本和高性能的 MySQL 云数据库方案。开发者通过网络从平台上申请 MySQL 实例资源,利用平台提供的单一入口来访问数据。原创 2024-03-25 23:57:09 · 677 阅读 · 0 评论 -
通过VMware虚拟环境,为你的Hadoop大数据环境做好准备,成为专业人士的首选!
本文学自黑马程序员2023版大数据课程,环境使用VMware虚拟化软件、Centos系统Linux环境学习大数据需要使用多台Linux服务器(本次学习使用3台)本地虚拟环境:基于VMware构建Linux虚拟机。原创 2023-08-17 13:27:44 · 249 阅读 · 0 评论 -
探秘分布式大数据:融合专业洞见,燃起趣味火花,启迪玄幻思维
Hadoop是Apache软件基金会下的顶级开源项目,用以提供:分布式数据存储、分布式数据计算、分布式资源调度为一体的整体解决方案。Apache Hadoop是典型的分布式软件框架,可以部署在1台乃至成千上万台服务器节点上协同工作。个人或企业可以借助Hadoop构建大规模服务器集群,完成海量数据的存储和计算。原创 2023-08-17 21:06:59 · 1053 阅读 · 0 评论 -
步步为赢:打造一个酷炫而吸引人的Hadoop HDFS分布式文件系统集群部署方案
配置HDFS集群,主要涉及到如下文件(均在workers: 配置从节点(DataNode)hadoop-env.sh:配置Hadoop的相关环境变量core-site.xml:Hadoop核心配置文件hdfs-site.xml:HDFS核心配置文件这些文件均存在与文件夹中。是后续要设置的环境变量,其指代Hadoop安装文件夹即配置workers文件:填入的node1、node2、node3表明集群记录了三个从节点(DataNode)原创 2023-08-18 21:34:33 · 202 阅读 · 0 评论 -
发掘HDFS Shell的魔力:让你的数据在指尖舞动!
以下操作在node2或node3执行(因为node1卸载了rpcbind,缺少了必要的2个命令)项目: hadoop.proxyuser.hadoop.groups。项目:hadoop.proxyuser.hadoop.hosts。Hadoop HDFS组件内置了HDFS集群的一键启停脚本。由于前面已经配置环境变量,直接执行以下命令即可。由于前面已经配置环境变量,直接执行以下命令即可。,此程序也可以用以单独控制所在机器的进程的启停。除了一键启停外,也可以单独控制进程的启停。,一键启动HDFS集群。原创 2023-08-19 06:00:00 · 86 阅读 · 0 评论 -
HDFS存储魔法解析:在二次元世界中跃动的数据冒险
在广袤的二次元世界中,一个神奇的存储魔法正在悄然运行,它就是 Hadoop Distributed File System(HDFS)。就像是一个巨大的魔法书库,HDFS 将大文件切成小块,然后将它们分散存放在不同的魔法书架上。每一本小块书都有多个魔法使在不同的书架上保留备份,确保即使魔法书架之一出现了问题,也能从其他书架上找回同样的知识宝藏。原创 2023-08-20 11:33:24 · 171 阅读 · 0 评论 -
Hadoop分布式计算与资源调度:打开专业江湖的魔幻之门
分布式计算:以分布式的形式完成数据的统计,得到需要的结果。MapReduce是“分散->汇总”模式的分布式计算框架,可供开发人员开发相关程序进行分布式数据计算。MapReduce提供了2个编程接口:Map、Reduce,其中Map功能接口提供了“分散”的功能, 由服务器分布式对数据进行处理Reduce功能接口提供了“汇总(聚合)”的功能,将分布式的处理结果汇总统计。原创 2023-08-21 16:26:55 · 907 阅读 · 0 评论 -
探索数据湖中的巨兽:Apache Hive分布式SQL计算平台浅度剖析!
对数据进行统计分析,SQL是目前最为方便的编程工具大数据体系中充斥着非常多的统计分析场景,所以,使用SQL去处理数据,在大数据中也是有极大的需求的MapReduce支持程序开发(Java、Python等),但不支持SQL开发Apache Hive是一款分布式SQL计算的工具将SQL语句 翻译成MapReduce程序运行基于Hive为用户提供了分布式SQL计算的能力写的是SQL、执行的是MapReduce。原创 2023-08-25 17:35:58 · 1332 阅读 · 0 评论 -
探索Apache Hive:融合专业性、趣味性和吸引力的数据库操作奇幻之旅
探索Apache Hive:融合专业性、趣味性和吸引力的数据库操作奇幻之旅原创 2023-09-08 21:22:36 · 493 阅读 · 0 评论 -
Apache Hive之数据查询
Apache Hive之数据查询原创 2023-09-09 23:22:43 · 662 阅读 · 0 评论 -
hive葵花宝典:hive函数大全
hive葵花宝典:hive函数大全原创 2023-09-10 20:47:06 · 795 阅读 · 0 评论 -
关于黑马hive课程案例FineBI中文乱码的解决
关于黑马hive课程案例FineBI中文乱码的解决。原创 2023-09-10 21:50:40 · 1681 阅读 · 3 评论