大数据技术入门
文章平均质量分 92
大数据技术入门的一些知识点
lT.苏浩
本科学历在校大学生
展开
-
VMware虚拟机集群上部署HDFS集群
HDFS全称:Hadoop Distributed File System是Hadoop三大组件(HDFS、MapReduce、YARN)之一可在多台服务器上构建集群,提供分布式数据存储能力配置HDFS集群,我们主要涉及到如下文件的修改:workers: 配置从节点(DataNode)有哪些hadoop-env.sh: 配置Hadoop的相关环境变量core-site.xml: Hadoop核心配置文件hdfs-site.xml: HDFS核心配置文件。原创 2023-07-01 22:49:21 · 1031 阅读 · 0 评论 -
Hadoop介绍及环境准备
Hadoop是Apache软件基金会下的顶级开源项目,用以提供:分布式数据存储分布式数据计算分布式资源调度为一体的整体解决方案。Hadoop是Apache软件基金会下的顶级开源项目,用以提供:•分布式数据存储•分布式数据计算•分布式资源调度为一体的整体解决方案。Apache Hadoop是典型的分布式软件框架,可以部署在1台乃至成千上万台服务器节点上协同工作。个人或企业可以借助Hadoop构建大规模服务器集群,完成海量数据的存储和计算。原创 2023-07-01 21:28:43 · 172 阅读 · 0 评论 -
大数据简介
大数据的诞生和信息化以及互联网的发展是密切相关的。大数据的诞生和信息化以及互联网的发展是密切相关的。在2000年后,互联网上的商业行为剧增,现在知名的互联网公司(谷歌、AWS、腾讯、阿里等)也是在这个年代开始起步。在互联网参与者众多的前提下,商业公司、科研单位等,所能获得的数据量也是剧增。剧增的数据量,和羸弱的单机性能,让许多科技公司开始尝试以数量来解决问题。在这个过程中,分布式处理技术诞生了。是一款开源的分布式处理技术栈为业界提供了基于Hadoop HDFS的:分布式数据存储技术。原创 2023-07-01 15:15:04 · 66 阅读 · 0 评论