Hadoop学习
文章平均质量分 90
11
ListenerDMT
大数据
展开
-
本地IDE编写执行MR+MR调优+数据倾斜
一、环境准备本地搭建hadoop环境(1)将hadoop相关文件放到目录下如下配置环境变量打开cmd窗口输入hadoop如下 说明配置成功原创 2022-03-27 13:17:51 · 2094 阅读 · 0 评论 -
YARN基础+Yarn组件+Yarn架构和工作流程+Yarn三种调度器+MR流程+zookeeper
一、YARN是什么YARN负责Hadoop中得资源管理(包括cpu、内存、磁盘、网络IO等),以及调度运行在yarn上的任务。二、YARN主要组件说明YARN的主要组件:ResourceManager、NodeManager、ApplicationMaster和Container(1)ResourceManager(RM)主要负责处理客户端请求对各NM上的资源进行统一调度和管理,给ApplicationMaster分配空闲的Container 运行并监控其运行状态。主要由两个组件构.原创 2022-03-25 22:27:08 · 4267 阅读 · 0 评论 -
HDFS读流程+HDFS写流程
一、HDFS写流程流程图如下:过程:1、HDFS Client调用Filesystem.creat(filePath)方法,通过RPC(远程过程调用,简单的理解是一个节点请求另一个节点提供的服务)与NameNode建立通讯。2、NN会检查这个文件是否存在?是否可以创建?如果可以,NN会触发副本放置策略,计算出上传的块和相应的DN节点,然后将这个信息返回给Client的FsDataOutputStream对象。3、Client和对应的一个 DN 建立PipeLine连接(本质上也是一个原创 2022-03-21 15:28:56 · 791 阅读 · 0 评论 -
Hadoop修改pid文件存储+配置YARN+运行默认YARN例子
一、修改hadoop pid 文件的位置root下查看 /tmp文件现将其修改至 用户下的的 tmp文件夹修改文件[peizk@hadoop hadoop]$ vim hadoop-env.sh原创 2022-03-17 16:30:56 · 1047 阅读 · 0 评论 -
Hadoop创建回收站+HDFS其它命令+HDFS主从架构+HDFS优缺点
一、创建回收站(1)编辑配置文件core-site.xml添加内容如下<property> <name>fs.trash.interval</name> <value>10080</value></property>10080 代表 10080分钟 即7天 也就是回收站保存7天,7天后删除(2)重新启动集群进行测试在hdfs上新建test1、test2文件夹对test 进行删除原创 2022-03-20 14:53:12 · 787 阅读 · 0 评论 -
腾讯云Centos7 安装openXXX服务,达到内网IP访问
一、准备工作1、下载证书制作工具创建一个目录 用来存放证书工具使用命令进行下载[root@hadoop openvpn]# wget -P http://down.i4t.com/easy-rsa.zip解压 在当前目录[root@hadoop openvpn]# unzip easy-rsa.zip2、配置 vars 文件进入如下目录[root@hadoop 2.0]# pwd/root/openvpn/easy-rsa-old-master...原创 2022-03-14 18:56:13 · 4704 阅读 · 1 评论 -
hadoop单节点安装及测试
--使用云服务器进行单节点服务器搭建(1)在root用户下修改主机名[root]# vim /etc/hostname按 i 进入编辑 设置主机名为 hadoop:wq 进行保存(2)配置映射root 用户下[root]# vim /etc/hostsip 为内网ip(3)创建用户 并赋予密码[root]# passwd peizk[root]# useradd peizk如下:(4)进入用户并切换至用户根目录...原创 2022-03-14 00:06:51 · 2807 阅读 · 0 评论