hadoop
代码邪皇
这个作者很懒,什么都没留下…
展开
-
appache版本hadoop重新编译:为什么要编译hadoop
appache版本hadoop重新编译:4.1为什么要编译hadoop由于appache给出的hadoop的安装包没有提供带C程序访问的接口,所以我们在使用本地库(本地库可以用来做压缩,以及支持C程序等等)的时候就会出问题,需要对Hadoop源码包进行重新编译.4.2编译环境的准备4.2.1:准备linux环境准备一台linux环境,内存4G或以上,硬盘40G或以上,我这里使用的是Centos...原创 2019-08-04 22:11:28 · 710 阅读 · 0 评论 -
hadoop的HDFS常用命令总结
HDFS常用命令:(注意:以下指的本地是:lunix虚拟机的)//查看根目录下的文件列表 hdfs dfs -ls ///递归查看根目录下的文件列表hdfs dfs -ls -R ///上传本地文件到hdfs的根目录hdfs dfs -put /export/data/logs/log.txt ///在hdfs上创建单级目录hdfs dfs -mkd...原创 2019-08-14 14:50:07 · 665 阅读 · 0 评论 -
hadoop distcp hftp hdfs跨集群拷贝常见问题归总
在工作中遇到部门间数据合作,需跨不同版本集群拷贝数据,从hadoop 2.6.0-cdh5.7.0 拷贝数据到hadoop 2.7.1, 记录所碰到的问题及解决方案。distcp基础用法比如拷贝A集群(src集群)的A1目录到B集群(dest集群)的B1目录,1.同版本集群拷贝(hdfs协议):在dest集群(目标集群)运行命令:hadoop distcp hdfs://10.190....原创 2019-08-31 09:26:48 · 6687 阅读 · 0 评论