hadoop
麦田里的稻草人19994
这个作者很懒,什么都没留下…
展开
-
hadoop 历史服务器、日志聚集
配置历史服务器1.配置mapred-site.xml文件[atguigu@hadoop101 hadoop]$ vi mapred-site.xml在该文件里面增加如下配置 目前启动在SecondaryNameNode同一台服务器<!-- 历史服务器端地址 --><property><name>mapreduce.jobhistory.address</name><value>hadoop103:10020</value&g原创 2020-06-07 22:45:53 · 184 阅读 · 0 评论 -
二、HDFS shell命令操作
1.启动HDFSsbin/start-dfs.shsbin/start-yarn.sh2.本地->HDFS # -put:等同于copyFromLocal; # copyFromLocal,moveFromLocal 使用简单,不举例了 hadoop fs -put ./zaiyiqi.txt /user/atguigu/test/ hadoop fs -copyFrom...原创 2020-03-25 16:54:18 · 115 阅读 · 0 评论 -
一、HDFS结构
原创 2020-03-24 00:26:52 · 58 阅读 · 0 评论 -
配置HDFS客户端环境准备
1.根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径(例如:D:\Develop\hadoop-2.7.2),如图3-4所示。图3-4 编译后的hadoop jar包2.配置HADOOP_HOME环境变量,如图3-5所示。图3-5 配置HADOOP_HOME环境变量3. 配置Path环境变量,如图3-6所示。4.测试cmd命令:winutils 如果不显示找不到命令,就说明安装成功了...原创 2020-06-09 22:06:47 · 268 阅读 · 0 评论 -
hadoop集群主从时间同步
1. 时间服务器配置(必须root用户)(1)检查ntp是否安装[root@hadoop102 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64(2)修改ntp配置文件[root@hadoop102 桌面]# vi /etc/ntp.conf修改内容如下a)修改1(授权19原创 2020-06-07 23:25:30 · 248 阅读 · 0 评论