- 博客(15)
- 收藏
- 关注
RSS订阅原创 11.Hadoop_入门_历史服务器配置
为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：1.配置 mapred-site.xml插入以下内容<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value></property><!-- 历史服务器 web 端地址 --><
2021-05-27 14:49:23
3563
原创 10.Hadoop_入门_群起集群并测试
1.配置 workerscd opt/module/hadoop-3.1.3/etc/hadoop/编辑workersvim workers默认为localhost，删除localhost，插入以下内容：hadoop102hadoop103hadoop104注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。2.格式化 NameNodehdfs namenode -format如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（
2021-05-23 23:18:41
5832
原创 9.Hadoop_入门_集群配置
1.切换到配置文件目录cd /opt/module/hadoop-3.1.3/cd etc/hadoop/2.配置 core-site.xmlvim core-site.xml按O插入以下内容<!-- 指定 NameNode 的地址 --><property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:8020</value></proper
2021-05-20 21:57:10
6385
6
原创 8.Hadoop_入门_ssh免密登录
1.切换到家目录注：Hadoop103和Hadoop104也是此操作2.生成公钥和私钥切换到家目录后输入以下代码ssh-keygen -t rsa注：然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）注：Hadoop103和Hadoop104也是此操作3.将公钥拷贝到要免密登录的目标机器上切换到家目录后输入以下代码ssh-copy-id hadoop102ssh-copy-id hadoop103ssh-copy-id h
2021-05-20 20:47:42
4460
原创 7.Hadoop_入门_xsync分发脚本
1.在/home/atguigu/bin 目录下创建 xsync 文件cd /home/atguigumkdir bincd binvim xsync插入以下内容:#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not Enough Arguement! exit;fi#2. 遍历集群所有机器for host in hadoop102 hadoop103 hadoop104do echo ==
2021-05-19 23:52:42
4875
1
原创 6.配置JDK环境变量和Hadoop环境变量
1.连接Hadoop102使用Xshell连接Hadoop102,链接之后切换到/opt/software目录2.上传jdk-8u212-linux-x64.tar.gz点击新建文件传输找到已经下载的jdk-8u212-linux-x64.tar.gz，并拖动到Hadoop102窗口，完成之后关闭，并查看是否传输成功3.解压JDK使用下方命令解压jdk-8u212-linux-x64.tar.gz到/opt/module/目录代码如下：tar -zxvf jdk-8u
2021-05-17 19:09:10
5205
原创 5.Hadoop_入门_克隆三台虚拟机
Hadoop_入门_克隆三台虚拟机1.克隆之前关闭虚拟机2.右键–管理—克隆Hadoop103、Hadoop103也是同样的方法克隆，克隆完成后移除Hadoop1003.打开Hadoop1024.root用户登录5.打开终端6.修改IP地址vim /etc/sysconfig/network-scripts/ifcfg-ens33IPADDR=192.168.10.1027.修改主机名称vim /etc/hostname完成之后重启re
2021-05-12 23:58:48
5152
1
原创 大数据技术之Hadoop3.x
大数据技术之Hadoop3.x教程系列文章目录文章目录大数据技术之Hadoop3.x教程系列文章目录一、[1.在虚拟机VMware安装模板机Hadoop100（使用CentOS 7系统](https://blog.csdn.net/qq_25400167/article/details/116458417)二、[2.Hadoop模板机IP地址和主机名称配置](https://blog.csdn.net/qq_25400167/article/details/116504080)三、[3.使用Xshell
2021-05-11 02:43:12
6991
1
原创 4.Hadoop_入门_模板虚拟机准备
Hadoop模板虚拟机准备1.切换root账号代码如下：su root2.测试网络链接代码如下：ping wwww.baidu.com -c 23.安装 epel-release注：Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包，适用于 RHEL、CentOS 和 Scientific Linux。相当于是一个软件仓库，大多数 rpm 包在官方repository 中是找不到的）代码如下：yum insta
2021-05-10 23:36:07
4387
原创 3.Hadoop_入门_使用Xshell连接CentOS 7
使用Xshell连接CentOS 7提示：以下是本篇文章正文内容，下面案例可供参考1.进入 C:\Windows\System32\drivers\etc 路径代码如下：192.168.10.100 hadoop100192.168.10.101 hadoop101192.168.10.102 hadoop102192.168.10.103 hadoop103192.168.10.104 hadoop104192.168.10.105 hadoop105192.168.10.106
2021-05-10 17:18:48
5468
原创 2.Hadoop_入门_模板机IP地址和主机名称配置
Hadoop模板机IP地址和主机名称配置提示：以下是本篇文章正文内容，下面案例可供参考1.如下（图例）：2.如下（图例）：3.如下（图例）：4.如下（图例）：5.如下（图例）：6.如下（图例）：7.如下（图例）：8.如下（图例）：9.如下（图例）：10.如下（图例）：11.打开虚拟机，打开终端，切换root账户代码如下：su root如下（图例）：12.编辑ifcfg-ens33文件代码如下：vim /etc/sysconf.
2021-05-08 22:26:43
5072
1
原创 1.Hadoop_入门_模板虚拟机安装（使用CentOS 7系统）
Hadoop 3.x系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Hadoop 3.x系列文章目录一、安装VMware虚拟机二、在虚拟机VMware安装模板机Hadoop100（使用CentOS 7系统）步骤1.打开虚拟机，点击创建新的虚拟机2.新建虚拟机向导（选择自定义）3.选择虚拟机硬件兼容性（根据自己安装的软件版本选择）4.安装客户
2021-05-06 22:58:15
5376
转载 CentOS8 图形界面和命令行切换
CentOS8 图形界面和命令行切换1.首先查看目前默认的启动方式，输入以下命令：systemctl get-default命令行模式返回的是:multi-user.target图形界面模式返回的是:graphical.target2.如果要设置为图形界面模式，输入以下命令：systemctl set-default graphical.target3.设置为命令行模式，输入以下命令：systemctl set-default multi-user.target...
2021-04-27 14:30:27
2777
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人