hadoop
文章平均质量分 92
kingloneye
相信会更好!
展开
-
hadoop 配置LZO压缩
hadoop 配置LZO压缩1)先下载lzo的jar项目https://github.com/twitter/hadoop-lzo/archive/master.zip2)下载后的文件名是hadoop-lzo-master,它是一个zip格式的压缩包,先进行解压,然后用maven编译。生成hadoop-lzo-0.4.20.jar。3)将编译好后的hadoop-lzo-0.4.20.jar 放入/opt/hadoop/share/hadoop/common/4)同步hadoop-lzo-0.4.原创 2020-12-04 16:57:08 · 133 阅读 · 0 评论 -
使用yum 安装CDH版本 Hadoop
使用yum 安装CDH版本 Hadoop步骤:安装软件包配置 HDFS配置 Yarn 和 MapReduce集群规划主机名职责cdh001Yarn ResourceManager, HDFS NameNode, HDFS SecondaryNamenode, MapReduce HistroyServer, Hadoop Clientscdh002Yarn NodeManager, HDFS DataNodecdh003Yarn NodeManager,原创 2020-10-26 16:50:06 · 664 阅读 · 0 评论 -
cdh安装hadoop-2.5.0-cdh5.3.6时出现Unable to load native-hadoop library for your platform解决方法
在执行hadoop命令的时候出现如下错误,不能加载Hadoop库WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable检查发现本地并没有库进入Hadoop下的\lib\native发现是空文件夹http://dl.bintray.com/sequenceiq/sequenceiq-bin/下原创 2020-10-18 23:30:34 · 263 阅读 · 0 评论 -
Hadoop shell常用命令
hadoop fs -ls / 查看 / 目录下的文件hadoop fs -mkdir /a 在/目录下创建a文件夹hadoop fs -mkdir -p /a/b 递归创建文件夹hadoop fs -ls -R / 递归查看所有文件夹hadoop fs -du <路径> 统计目录下个文件大小 图3hadoop fs -du -h <路径> 统计目录下个文件大小(换算成M,K)hadoop fs -dus <路径> 汇总统计目录下文原创 2020-06-05 09:13:34 · 136 阅读 · 0 评论 -
Hadoop Shell脚本采集日志上传到HDFS
Hadoop Shell脚本采集日志上传到HDFS原创 2020-02-27 17:26:01 · 315 阅读 · 0 评论 -
hadoop启动后没有datanode
参考:hadoop启动后没有datanodehadoop启动后没有datanode原创 2020-02-22 23:13:04 · 1116 阅读 · 0 评论 -
hadoop的安装与配置(完全分布式)
一、安装虚拟机(这里使用的是CentOS7)在VMware虚拟机中安装CentOS7系统二、配置 CentOS7 配置163 yum源(详细步骤)配置 CentOS7 配置163 yum源三、查看防火墙sudo systemctl status firewalld关闭防火墙sudo systemctl disable firewalld 重启 reboot打开防火墙su...原创 2020-02-22 23:06:35 · 457 阅读 · 1 评论