大数据
文章平均质量分 80
拉普拉斯_凯
1234-学生
展开
-
04Hadoop功能完善
为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:1) 配置 mapred-site.xml在该文件里面增加如下配置。2) 分发配置3) 在 hadoop102 启动历史服务器4) 查看历史服务器是否启动5) 查看 JobHistoryhttp://hadoop102:19888/jobhistory日志聚集概念:应用运行完成以后,将程序运行日志信息上传到 HDFS 系统上。日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。注意:开启日志聚集功能, 需要重新启原创 2022-06-08 00:58:23 · 253 阅读 · 1 评论 -
03Hadoop集群搭建配置
1)准备 3 台客户机(关闭防火墙、静态 IP、主机名称)√2)安装 JDK √ (Hadoop101)3)配置系统环境变量 √ (Hadoop101)4)安装 Hadoop √ (Hadoop101)5)配置 ssh 和分发脚本6)配置Hadoop环境变量7)配置集群8)启动并测试集群 首先,为什么需要配置虚拟机之间的无密钥登录,这是因为我们对设置文件的配置,要在各个节点之间统一,所以要频繁进行通信,ssh无密钥登录为配置文件分发脚本服务。 无密钥的原理是加密中的非对称加密,node1连接node原创 2022-06-08 00:53:25 · 362 阅读 · 0 评论 -
02Hadoop目录和运行模式
(1)bin 目录:存放对 Hadoop 相关服务(hdfs,yarn,mapred)进行操作的脚本(2)etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件(3)lib 目录:存放 Hadoop 的本地库(对数据进行压缩解压缩功能)(4)sbin 目录:存放启动或停止 Hadoop 相关服务的脚本(5)share 目录:存放 Hadoop 的依赖 jar 包、文档、和官方案例Hadoop 运行模式包括:本地模式、伪分布式模式以及完全分布式模式。我们已经在hadoop101这台虚拟机中原创 2022-06-08 00:48:38 · 480 阅读 · 0 评论 -
01虚拟机克隆和软件安装
虚拟机克隆和软件安装原创 2022-06-07 23:44:38 · 908 阅读 · 0 评论 -
00Hadoop集群搭建之模板系统
hadoop模板系统原创 2022-06-07 23:34:47 · 221 阅读 · 0 评论 -
Hadoop概论
Hadoop的定义 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数原创 2022-05-26 23:19:06 · 203 阅读 · 0 评论 -
大数据概论
什么是大数据? 大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 在维克托·迈尔-舍恩伯格维克托·迈尔-舍恩伯格)及肯尼斯·库克耶编写的《大数据时代》 [1] 中大数据指不用随机分析法、抽样调查这样捷径,而采用所有数据进行分析处理。(百度百科)大数据的5V特点Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Verac原创 2022-05-25 00:40:03 · 489 阅读 · 0 评论