![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 84
BigDataToAI
分享大数据经验
展开
-
ubuntu 18.04安装hdp 3.1.0最新完整版(含安装包)
节点准备hostnameip角色ubuntu-1804-1172.21.73.53从节点ubuntu-1804-2172.21.73.54主节点ubuntu-1804-3172.21.73.55从节点关闭防火墙sudo ufw disable配置时钟同步NTP所有节点安装ntpsudo apt install ntp以ubuntu-1804-2为server,在ubuntu-1804-2进行如下修改修改配置文件vim /etc/ntp.c原创 2021-12-02 21:30:58 · 1320 阅读 · 3 评论 -
Uber是如何在大规模集群中有效提高HDFS I/O利用率
以更低的硬件成本扩展我们的数据基础设施,同时保持高性能和服务可靠性并非易事。为了适应Uber数据存储和分析计算的指数级增长,数据基础设施团队通过重新架构软件层和硬件重新设计,对Apache Hadoop数据文件系统(HDFS)的扩展方法进行了大规模改革HDFS 联合、温存储、YARN 在 HDFS 数据节点上的并置以及 YARN 利用率的提高提高了系统的 CPU 和内存使用效率将多种硬件服务器设计(24 x 2TB HDD、24 x 4TB HDD、35 x 8TB HDD)整合到35 x 1.转载 2021-11-21 15:06:45 · 162 阅读 · 0 评论 -
Flink的类加载器
概览在运行 Flink 应用程序时,JVM 会随着时间的推移加载各种类。 这些类可以根据它们的来源分为三组:Java Classpath:这是Java的通用类路径,它包括JDK库,以及Flink /lib文件夹中的所有代码(Apache Flink的类和一些依赖)。Flink 插件组件:插件代码在 Flink 的 /plugins 文件夹下的文件夹中。 Flink 的插件机制会在启动时动态加载一次。动态用户代码:这些是动态提交的作业的 JAR 文件中包含的所有类(通过 REST、CLI、翻译 2021-10-16 16:10:09 · 1311 阅读 · 0 评论 -
hadoop yarn安装
上篇文章讲到如何安装hdfs,那本文继续安装yarn。如何安装hdfs修改mapred-site.xml,如下所示<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file原创 2021-09-22 22:21:05 · 827 阅读 · 0 评论 -
hdfs集群安装(单namenode和HA模式)
单namenode节点准备文件下载:jdk-8u241-linux-x64.tar.gzhadoop-3.2.0.tar.gz节点安排:hadoop1 → 从节点hadoop2 → 主节点首先确保hadoop1能够免密登录hadoop1以及hadoop2将文件下载到/data目录下,并解压、建立软连接,最终状态如下:修改配置hadoop相关配置修改core-site.xml<configuration><property>原创 2021-09-22 22:18:59 · 301 阅读 · 0 评论 -
hdfs命令行指南
Hadoop包括各种shell类命令,它们直接与HDFS和Hadoop支持的其他文件系统交互。 bin/hdfs dfs -help列出了Hadoop shell支持的命令。 此外,命令bin/hdfs dfs -help command-name可以显示命令的更详细的帮助。 这些命令支持大多数普通的文件系统操作,如复制文件、更改文件权限等。 它还支持一些HDFS的特定操作,如更改文件的副本数。appendToFile作用:将本地文件或stdin追加到某个文件的末尾用法:hdfs dfs -appe翻译 2021-09-20 22:57:36 · 703 阅读 · 0 评论