m0_69406980的博客

Hadoop---四种常用压缩格式对比（gzip，lzo，snappy，bzip2）

HDFS小文件处理

1）块大小 1.x 64m 2.x 3.x 128m 本地 32m 企业 128m 256m 512m 2）块大小决定因素 磁盘读写速度 普通的机械硬盘 100m/s => 128m 固态硬盘普通的 300m/s => 256m 内存镜像 500-600m/s => 512m

HDFS读写数据流程

shell命令

hive脚本来管理服务的启动和关闭

常用的调优参数 1）资源相关参数 2) 容错相关参数（MapReduce性能优化）