E-Hadoop
小妖666
喜欢学习技术
展开
-
Hadoop_HDFS_shell命令
cd /opt/module/hadoop-2.9.2/常用命令操作:1)启动hadoop集群hadoop101:sbin/start-dfs.shhadoop102:sbin/start-yarn.sh2)-help:输出命令使用参数hadoop fs -help rm3)-ls:显示目录信息hadoop fs -help rm4)-mkdir:创建目录hadoop fs -mkdir -p /yunan5)-copyFromLocal:从本地拷贝到HDFSh原创 2020-05-10 19:22:52 · 237 阅读 · 0 评论 -
Hadoop完全分布式 => 集群时间同步
1.crontab定时任务cd /opt/module/hadoop-2.9.2/crontab -e第一次执行命令的时候分出现下面内容,输入2回车如果不小心输错的话,退出输入命令:select-editor输入2回车,然后再次执行crontab -e即可重启crontab服务方法:service crontab restart2.集群时间同步时间同步方式:找一...原创 2020-05-03 19:35:20 · 414 阅读 · 0 评论 -
Hadoop完全分布式 => 集群ssh配置与群起
ssh配置cd /root/.ssh/ (注意如果没有.ssh文件,执行下命令ssh会自动生成)ssh-keygen -t rsa一路回车将公钥拷贝到hadoop102ssh-copy-id hadoop102拷贝成功后hadoop102的/root/.ssh/文件夹会生成文件authorized_keys这样之后就hadoop101可以无密登录hadoop102了,之...原创 2020-04-19 20:03:50 · 328 阅读 · 0 评论 -
Hadoop完全分布式 => 集群配置单点启动
1.集群部署规划 hadoop101 hadoop102 hadoop103 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager ...原创 2020-04-12 10:14:19 · 296 阅读 · 0 评论 -
Hadoop完全分布式 => SCP,RSYNC,XSYNC案例
1. scp(secure copy)安全拷贝scp命令将hadoop101内的yu文件推送到hadoop102中sudo mkdir yusudo scp -r yu hyn@hadoop102:/home/hyn/Documentsscp命令将hadoop102内的文件拉取到hadoop101中sudo rm -r yusudo scp -r hyn@hadoop102...原创 2020-04-11 20:50:35 · 282 阅读 · 0 评论 -
Hadoop完全分布式 => 虚拟机环境准备
首先将hadoop101克隆一份保存起来打开hadoop101sudo rm -r /opt/module/hadoop-2.9.2重新解压:tar -zxvf /opt/software/hadoop-2.9.2.tar.gz -C /opt/module然后更改hosts文件sudo vim /etc/hosts然后关闭虚拟机,根据hadoop101...原创 2020-04-06 14:01:13 · 242 阅读 · 0 评论 -
Hadoop环境搭建一 => 虚拟机准备
一、虚拟机安装这个请自行百度二、linux系统下载进入阿里去网站https://developer.aliyun.com/mirror/点击OS镜像,这里我选的ubuntu系统,版本看你电脑内存即可。注意:最重要的是获取下载地址,然后用迅雷下载会快很多。https://mirrors.aliyun.com/ubuntu-releases/19.10/下载.torre...原创 2020-02-23 15:26:13 · 352 阅读 · 0 评论 -
Hadoop伪分布式 => 配置日志聚集
日志聚集:将程序运行的log文件(日志信息),上传到HDFS系统上,可以通过网页浏览注意:开启日志聚集功能 ,需要重新启动 NodeManager, ResourceManager, HistoryManagersbin/mr-jobhistory-daemon.sh stop historyserversbin/yarn-daemon.sh stop nodemanagersbi...原创 2020-04-06 11:11:35 · 219 阅读 · 0 评论 -
Hadoop伪分布式 => 配置历史服务器
配置:cd /opt/module/hadoop-2.9.2sudo vim etc/hadoop/mapred-site.xml在<configuration></configuration>中间加入下面内容<!-- 历史服务器地址 --><property> <name>mapreduce.jobhisto...原创 2020-04-06 10:53:30 · 189 阅读 · 0 评论 -
Hadoop伪分布式 => 启动YARN并运行MR程序
配置集群:cd /opt/module/hadoop-2.9.2/etc/hadoopsudo vim yarn-env.sh将 # export JAVA_HOME=/home/y/libexec/jdk1.6.0/注释打开修改为export JAVA_HOME=/opt/module/jdk1.8.0_241sudo vim yarn-site.xml在<con...原创 2020-04-06 10:26:26 · 291 阅读 · 0 评论 -
Hadoop伪分布式 => 启动HDFS并运行MR程序
配置:cd /opt/module/hadoop-2.9.2/sudo rm -rf datasudo vim etc/hadoop/core-site.xml在<configuration></configuration>中间加入下面内容<!-- 指定 HDFS 中NameNode 的地址 --><property> ...原创 2020-04-02 23:13:44 · 261 阅读 · 0 评论 -
Hadoop本地模式 => GREP、WordCount官方案例
GREPcd /opt/module/hadoop-2.9.2/mkdir inputcp etc/hadoop/*.xml inputbin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output 'dfs[a-z.]+'cat output/*// 1 dfs...原创 2020-03-31 16:11:05 · 315 阅读 · 0 评论 -
Hadoop环境搭建一 => Hadoop安装
在虚拟机的/opt目录下新建两个文件夹 software,modulesudo mkdir softwaremodule改一下所有者和所有者的组sudo chown hyn:hyn software/ module/将下载好的hadoop-2.9.2.tar.gz放到software目录下安装Hadoop:解压:tar -zxvf hadoop-2.9.2.tar.gz ...原创 2020-03-30 21:43:10 · 216 阅读 · 0 评论 -
Hadoop环境搭建一 => JDK安装
在虚拟机的/opt目录下新建两个文件夹 software,modulesudo mkdir softwaremodule改一下所有者和所有者的组sudo chown hyn:hyn software/ module/将下载好的jdk-8u241-linux-x64.tar.gz放到software目录下安装jdk:解压:tar -zxvf jdk-8u241-linux-...原创 2020-03-26 08:06:40 · 379 阅读 · 0 评论