hadoop
文章平均质量分 92
大数据姐姐
这个作者很懒,什么都没留下…
展开
-
Import/Export实现hbase集群间迁移
使用hbase自带的Import/Export工具逐表迁移,迁移示例如下:OLD_CLUSTER:create 'member','m_id','address','info'put'member','scutshuxue','info:age','24'scan 'member'./hbase org.apache.hadoop.hbase.mapredu原创 2018-01-04 16:55:33 · 767 阅读 · 0 评论 -
hadoop部署环境检查&初始化
一、硬件检查1.检查磁盘数量fdisk -l |grep 'Disk /dev'查看所有硬盘数量,检查服务器硬盘数量是否和规划一致,有无硬盘缺失2.检查内存容量1)free -g检查所有服务器内存大小是否相同或符合规划2)查看内存条是否和采购一致(可选)dmidecode |grep -A16 "Memory Device$":查看每条内存的详细的信息原创 2018-01-10 15:46:53 · 710 阅读 · 0 评论 -
Distcp方式
一、概述 DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。由于使用了Map/Reduce方法,这个工具在语义和执行上都会有特殊的地方。二、使用DistCp DistCp最常用于在集群之间的拷贝:hadoop dist...原创 2017-10-31 13:39:55 · 21005 阅读 · 3 评论