- 博客(7)
- 收藏
- 关注
RSS订阅原创 hadoop运行模式（完全分布式）——xsync集群分发脚本
在此之前，要将映射ip与主机写入 /etc/hosts文件（根据自己需要写入）xsync集群分发脚本需求：循环复制文件到所有节点的相同目录下需求分析：（a）rsync命令原始拷贝： rsync -rvl /opt/module root@hadoop12:/opt/（b）期望脚本： xsync要同步的文件名称（c）我们将xsync脚本创...
2020-10-08 16:15:14
897
原创 hadoop运行模式（伪分布式）——启动HDFS并运行Mapreduce
0.伪分布式：只有一个节点的分布式（主要通过配置伪分布式了解分布式需要配饰的文件及步骤）启动HDFS并运行Mapreduce 1.1 配置集群（配置文件的目录-/opt/module/hadoop-2.7.2/etc/hadoop）export JAVA_HOME=/opt/module/jdk1.8.0_1441.1.2 配置core-site.xml(主要高速hadoop运行运行模...
2020-10-08 16:15:04
368
原创 Hadoop的运行模式（伪分布式）——启动YARN并且运行MapReduce程序
启动YARN并且运行MapReduce程序1.配置集群（配置文件的目录-/opt/module/hadoop-2.7.2/etc/hadoop）1.1 配置yarn-env.sh (JAVA_HOME)export JAVA_HOME=/opt/module/jdk1.8.0_1441.2 配置yarn-site.xml<configuration> <!-...
2020-10-08 16:14:55
398
原创 Hadoop集群群起操作
1.完成虚拟机ssh免密设置，见ssh免密设置2.将hadoop13（设置免密操作的主机）的/home/centos/.ssh同步给集群中所有的主机[centos@hadoop13 ~]$ xsync /home/centos/.ssh3.检测相互之间是否能够进行ssh免密登录群起集群4.配置所有的从机slaves（我这里是在/opt/module/hadoop-2.7.2/etc/...
2020-10-08 16:14:33
237
原创 windowns下搭建redis集群
windowns下搭建redis集群1,下载redis最新版本（版本必需要3.0以上）下载地址： https://github.com/MSOpenTech/redis/releases 下载 Redis-x64-3.2.100.zip 安装在C盘中redis入门教程：redis入门安装教程2，安装Ruby语言运行环境去官网下载即可安装到C盘中选中3个，然后点击安装安装好后会弹出一个黑色窗体，随后需要对Ruby进行配置，执行gem install redis教程开始1，
2020-10-08 15:53:37
68
原创 实现ssh免密登录设置
1.在虚拟机上生成钥匙对[centos@hadoop13 ~]$ ssh-keygen -t rsa2.查看生成结果[centos@hadoop13 ~]$ cd .ssh[centos@hadoop13 .ssh]$ ll3.将公钥拷贝拷贝到免密登录得目标机器上[centos@hadoop13 ~]$ ssh-copy-id hadoop14 #本机hadoop13也...
2020-04-26 13:35:07
171
原创 CentOS 6有ip地址，但远程登录不了？
考虑有三种情况：1.centos 的网卡没有连上这种情况很简单，直接在虚拟机上端连网2.centos 的sshd服务没有打开打开终端，输入 setup 命令，选择系统服务 ，回车进入，找到sshd，插卡是否打开，若没有，将其打开，打开后点击确定。3.windows中虚拟出来的网络vm1/vm8没有启用点击启用...
2020-02-21 11:50:46
578
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人