hadoop
文章平均质量分 92
sgxmr
这个作者很懒,什么都没留下…
展开
-
HDFS常用操作
文章目录1.HDFS简介1.1 优点1.2 缺点1.3 组成架构1.4 HDFS文件块大小(面试重点)2.HDFS的shell操作(开发重点)3.HDFS的API操作3.1 准备3.2 代码1.HDFS简介主要解决大数据中海量存储的问题产生背景随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。比如windows磁盘一般都是NF原创 2021-07-08 14:38:29 · 558 阅读 · 1 评论 -
hadoop集群常用脚本
前提必须修改过映射/etc/hosts文件scp(secure copy)安全拷贝(1)scp定义:scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)(2)基本语法scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称(3)案例实操#(a)在hadoop101上,将hadoop101中/opt/module目录.原创 2021-07-07 17:40:38 · 175 阅读 · 0 评论 -
搭建hadoop伪分布式+全分布式(基于Centos7)
环境准备安装一个centos7的虚拟机虚拟机配置硬盘50G 内存4G CPU 6*2 2*2/boot 200M/swap 2G/ 全部配置网络对于实验环境下Hadoop集群网络需考虑地址规划、连通性。由于实验环境下数据负载较小、可靠性要求不高,链路一般采用单链路连接。IP地址规划在同一网络中,一般设定地址为(192.168.1.0/24)网段。具体IP地址在Centos7中配置,确保可以联网并和主机ping通首先查看自己虚拟机网卡的网段,我们选择NAT模式连接改主机名设置服务器原创 2021-01-09 16:36:09 · 671 阅读 · 0 评论 -
hadoop完全分布式搭建(基于Ubuntu18版本)
文章目录hadoop搭建(Ubuntu版本)虚拟机准备安装ssh为虚拟机设置静态IP创建一个用户(非必做)创建文件夹存放所需软件等4、把这个用户加管理权限5、改Hosts6、安装java和hadoop安装java安装hadoop编写分发脚本7.完全分布式搭建1.集群部署规划2.集群文件配置配置文件理解**1.配置**core-site.xml文件参数(核心)**2.配置**hdfs-site.xml文件参数**3.配置***mapred-site.xml文件参数**4.**配置****yarn-site.x原创 2021-01-09 16:39:49 · 588 阅读 · 0 评论 -
四台华为云ECS上搭建hadoop
虚拟机准备修改主机名连接服务器后修改主机名hostnamectl set-hostname 主机名bash分发脚本 #1. scp(secure copy)安全拷贝(1)scp定义:scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2) (2)基本语法scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的原创 2021-01-09 16:19:01 · 1429 阅读 · 0 评论 -
hadoop概述
文章目录大数据简介1.hadoop简介1.1 hadoop是什么1.2 发展历史1.3 发行版本1.4 hadoop特性2.hadoop组成2.1 hadoop1,2,3版本区别2.2 HDFS简介2.3 YARN简介2.4 MapReduce简介2.5 HDFS,YARN,MapReduce关系大数据简介大数据(Big Data):指**无法在一定时间范围**内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信原创 2021-07-07 16:20:23 · 149 阅读 · 0 评论