![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
weixin_43052467
这个作者很懒,什么都没留下…
展开
-
HADOOP入门
HADOOP入门1. HADOOP背景介绍1.1 什么是HADOOP1.2 HADOOP产生背景1.3 HADOOP生态圈以及各组成部分的简介 1. HADOOP背景介绍 1.1 什么是HADOOP (1)HADOOP是apache旗下的一套开源软件平台 (2)HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 HADOOP的核心组件有(重点): HDF...原创 2019-05-24 17:57:30 · 184 阅读 · 0 评论 -
hadoop安装详情
hadoop安装详情基本配置的必要条件安装hadoop1.HADOOP安装部署(1)上传HADOOP安装包(2)解压安装包(3)进入hadoop文件夹里开始配置进入 hadoop-env.sh 修改java_home变量值进入 core-site.xml 设置临时文件储存地址进入 hdfs-site.xml改写临时文件名进入 mapred-site.xml改写 slaves写入HADOOP的环...原创 2019-05-25 15:12:45 · 1059 阅读 · 1 评论 -
搭建高可用
搭建高可用HA集群安装部署1 运行环境1.1 软件环境1.2 浏览器要求2 安装准备2.1准备虚拟机2.2 修改主机名2.3 关闭防火墙2.4 配置时间同步2.5 配置ssh免秘登录3 安装其他组件3.1 安装zookeeper3.2 安装高可用hadoop3.2.1 HDFS3.2.2 YARN3.2.3 分发配置文件3.2.4 启动HDFS去windows下去改变映射关系3.2.5 验证是否成...原创 2019-06-05 11:22:58 · 250 阅读 · 0 评论 -
了解HDFS
了解HDFSHDFS基本概念1.HDFS前言2.HDFS的概念和特性3.HDFS的shell(命令行客户端)操作4.hdfs 的工作机制HDFS写数据流程(上传到hdfs)HDFS读数据流程 (从hdfs下载) HDFS基本概念 1.HDFS前言 设计思想 分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析; 在大数据系统中作用: 为各类分布式...原创 2019-05-28 14:28:16 · 374 阅读 · 0 评论