hadoop
李景山-编程者
就是想简单的写代码.......................
展开
-
HDFS常用shell命令
HDFS 文件操作命令 注,其实常用命令不用网上搜,和linux下的命令很类似,触类旁通,直接在linux 上 hadoop fs 看一下就行了,不需要刻意去记我把 linux 上的 help 列举下,方便直接看吧,hdfs dfs 与 hadoop fs 效果一样常用的就是hdfs dfs -copyFromLocal /local/data /hdfs/data:将本地文件上传到...转载 2018-08-31 14:01:05 · 457 阅读 · 0 评论 -
MapReduce数据类型及自定义MapReduce数据类型
MR 基本数据类型BooleanWritableByteWritableDoubleWritableFloatWritableIntWritableLongWritableTextNullWritable原创 2018-10-17 14:32:33 · 341 阅读 · 0 评论 -
maven 指定 jdk 版本编译
<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId>原创 2018-09-06 15:53:22 · 946 阅读 · 0 评论 -
关hadoop生态系统的架构图
hadoop1.x hadoop2.x hdfs yarn hadoop1 vs hadoop2原创 2018-09-03 14:11:57 · 667 阅读 · 0 评论 -
Hadoop3.0新特性介绍,比Spark快10倍的Hadoop3.0新特性
Hadoop3.0新特性介绍,比Spark快10倍的Hadoop3.0新特性Apache hadoop 项目组最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据。 其实最大改变的是hdfs,hdfs 通过最近black块计算,根据最近计算原则,本地black块,加入到内存,先计算,通过IO,共享内存计算区域,最后快速形成计算结果。...转载 2018-09-03 10:07:51 · 415 阅读 · 0 评论 -
Initialization failed for Block pool <registering> Datanode Uuid
从日志上看,加粗的部分说明了问题datanode的clusterID 和 namenode的clusterID 不匹配。解决办法:根据日志中的路径,cd /home/hadoop/tmp/dfs能看到 data和name两个文件夹,将name/current下的VERSION中的clusterID复制到data/current下的VERSION中,覆盖掉原来的clusterID...原创 2018-09-05 13:51:44 · 2890 阅读 · 0 评论 -
hadoop 报错 java.io.IOException: There appears to be a gap in the edit log. We expected txid 1, but g
原因:namenode元数据被破坏,需要修复解决:恢复一下namenodehadoop namenode –recover选择Y选择cok!我也是醉了!!原创 2018-09-05 10:36:46 · 2292 阅读 · 0 评论 -
hadoop管理命令——dfsadmin
dfsadmin是一个多任务的工具,我们可以使用它来获取HDFS的状态信息,以及在HDFS上执行的一系列管理操作。调用方式 例如:hadoop dfsadmin -report dfsadmin命令详解 -report:查看文件系统的基本信息和统计信息。 -safeadmin enter | leave | get | wait:安全模式命令。安全模式是NameNode的一...转载 2018-09-04 16:53:31 · 1341 阅读 · 0 评论 -
HDFS基本命令
HDFS常用命令: 注:以下执行命令均在spark安装目录的bin目录下。 path 为路径 src为文件路径 dist 为文件夹 1、-help[cmd] 显示命令的帮助信息./hdfs dfs -help ls 1 2、-ls(r) 显示当前目录下的所有文件 -R层层循出文件夹./hdfs dfs -ls /log/map ./hdfs dfs -lsr /log/ ...转载 2018-09-04 16:23:38 · 148 阅读 · 0 评论 -
hadoop 3.x 的新特性
基于jdk1.8(最低版本要求)mr采用基于内存的计算,提升性能(快spark 10倍)hdfs 通过最近black块计算,加快数据获取速度(块大小:256M)支持多NameNode(实现了更加可靠的HA)引入EC纠删码技术(EC:Erasure Coding) 存储空间节省50%精简了内核7.hadoop shell脚本重构默认端口修改9.支持数据的balancer(平衡)Intr...原创 2019-01-13 09:44:08 · 531 阅读 · 0 评论