Hadoop
Aying_seeya
专研大数据、Java ...
展开
-
hdfs查看目录文件的大小 hdfs dfs -du -s -h /
1.hdfs dfs -du -h 查看各级文件大小会出现两列数字,第一列为单个文件实际大小,第二列为备份大小。2.hdfs dfs -ls -h也可以查看文件大小 但是当子文件目录过多时 统计的大小为03.命令 hdfs dfs -du -s -h /user/hive/warehouse/结果 97.1 G 291.3 G /user/hive/warehouse第一列标示该目录下总文件大小第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关,我的副本数是3 ,所以第二列的原创 2020-11-23 10:29:08 · 26549 阅读 · 0 评论 -
Access denied for user root. Superuser privilege is required...
在使用 cloudera manager 安装 hdfs 的过程中,报错 using /usr/java/jdk1.7.0_67/ as JAVA_HOME using 5 as CDH_VERSION using /opt/cm-5.7.0/run/cloudera-scm-agent/process/25-hdfs-NAMENODE-createtmp as CONF_DIR using as SECURE_USER using as SECURE_GROUP unlimited Directory原创 2020-11-02 13:03:25 · 3100 阅读 · 0 评论 -
CDH简介
1、Apache Hadoop 不足之处• 版本管理混乱 • 部署过程繁琐、升级过程复杂 • 兼容性差 • 安全性低2、Hadoop 发行版• Apache Hadoop • Cloudera’s Distribution Including Apache Hadoop(CDH) • Hortonworks Data Platform (HDP) • MapR • EMR • …3、CDH能解决哪些问题• 1000台服务器的集群,最少要花费多长时间来搭建好Hadoo原创 2020-08-31 16:35:15 · 234 阅读 · 0 评论 -
租约协议(详细、透彻讲解)
背景和介绍缓存是计算机里广泛使用的一种技术,对降低读取延迟、网络流量和服务器负载都非常有效,但也带来了一致性(Consistency)的问题。所谓一致就是客户端总能读到最新的数据,使用缓存后有可能服务器端的数据已经被修改,但客户端仍然从缓存中读取陈旧的数据。为了保证一致性,有两种常见的解决办法,第一种是轮询(Polling),即每次读取数据时都先询问服务器数据是不是最新的,如果不是就从服务器传输新数据,这种方法需要每次读取数据时都与服务器通信。另一种方法就是回调(Callback)或者无效化(Invali原创 2020-08-07 21:13:41 · 595 阅读 · 0 评论 -
大数据技术之Hadoop(HDFS)
第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小(面试重点)第2章 HDFS的Shell操作(开发重点)1.基本语法bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令dfs是fs的实现类。2.命令大全[jinghang@hadoop102 hadoop-2.7.2]$ bin/hadoop fs[-appendToFile <localsrc> ... &l原创 2020-05-21 10:21:32 · 600 阅读 · 0 评论 -
Hadoop经典面试题
1.简单描述你对Hadoop集群SafeMode模式的理解?集群处于安全模式,不能执行重要操作(写操作),集群属于只读状态。但是严格来说,只是保证HDFS元数据信息的访问,而不保证文件的访问。集群启动完成后,自动退出安全模式, 如果集群处于安全模式,想要完成写操作,需要离开安全模式。(1)bin/hdfs dfsadmin -safemode get (功能描述:查看安全模式状态)(2)bi...原创 2019-12-03 18:44:06 · 510 阅读 · 0 评论