xinji

区别:hdfs dfs -ls 默认目录是在hdfs文件系统的/user/用户名;hdfs dfs -ls == hdfs dfs -ls /user/hadoop;hdfs dfs -ls / 与 hdfs dfs -ls hdfs:ip:9000/ 访问的路径一致hdfs dfs -ls[hadoop@hadoop001 ~]$ hdfs dfs -ls Found 3 ite...

1.org.apache.hadoop.security.AccessControlException: Permission denied:产生原因:用户没有相对应的权限修改文件,或执行文件org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=WR...

模拟block 损坏之后 如何定位以及修复.1.创建一个文件并上传至hdfs[root@ruozedata001 ~]# hdfs dfs -mkdir /blockrecover[root@ruozedata001 ~]# echo "xiaolinzi" > blocktest.md[root@ruozedata001 ~]# hdfs dfs -put blocktest.md...

我们知道，HDFS 被设计成存储大规模的数据集，我们可以在 HDFS 上存储 TB 甚至 PB 级别的海量数据。而这些数据的元数据（比如文件由哪些块组成、这些块分别存储在哪些节点上）全部都是由 NameNode 节点维护，为了达到高效的访问， NameNode 在启动的时候会将这些元数据全部加载到内存中。而 HDFS 中的每一个文件、目录以及文件块，在 NameNode 内存都会有记录，每一条信息...

1. 问题发生场景:window 环境,使用idea 开发Spark作业,并 运行job作业,报错{"time":"2020-01-19 11:24:41","logtype":"WARN","loginfo":"Unable to load native-hadoop library for your platform... using builtin-java classes wher...

将hive下的conf的hive-site.xml配置文件放在resources下;在应用 pom.xml中配置jar; <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId>...

Hadoop经常用于处理大量的数据，如果期间的输出数据、中间数据能压缩存储，对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split，目前lzo是最好的选择。LZO（LZO是Lempel-Ziv-Oberhumer的缩写）是一种高压缩比和解压速度极快的编码，它的特点是解压缩速度非常快，无损压缩，压缩后的数据能准确还原，lzo是基于block分块的，允许数据被分解成chunk，能够被并...

本次使用3台阿里云主机进行集群部署:**1. 版本**组件版本备注及下载地址Centos7.2 64-bitlsb_release -a 命令查看操作系统版本file /bin/ls 命令查看操作系统位数Hadoophadoop-2.6.0-cdh5.15.1.tar下载源码自行编译好的版本jdkjava version “1.8.0_45"h...

**HDFS HA 与Yarn HA的区别HDFS HA 的架构图2. Yarn HA 架构总结:1.ZKFC的不同HDFS 的zkfc是单独的进程;Yarn 中的zkfc是存在于ResourceManager进程中 是一个线程级2. 从节点HDFS 中 DataNode要与两个NameNode(active,standby)进行通信;Yarn 中的NameMan...

使用阿里云主机 编译 hadoop-2.6.0-cdh5.15.11.准备1.系统环境配置操作系统版本：CentOS Linux release 7.5.1804依赖库的安装[root@hadoop001 ~]# yum install -y svn ncurses-devel[root@hadoop001 ~]# yum install -y gcc gcc-c++ make cma...