云计算
文章平均质量分 89
记录云计算的环境搭建问题,仅适用于理论学习的实践操作,不适用于商业化公司使用
PushyTao
这个作者很懒,什么都没留下…
展开
-
SpringBoot+Dubbo项目简单搭建实现斐波那契第n项
SpringBoot整合Dubbo实现简单的提供者-消费者模式的斐波那契数列第n项原创 2022-06-11 22:20:39 · 865 阅读 · 1 评论 -
云计算复习索引
云计算考试复习索引,动态更新原创 2022-06-06 20:57:18 · 3372 阅读 · 11 评论 -
CentOS7 上配置Openstack[单机配置]
本文目录写在前面配置前须知step1 主机设置step2 配置网口和DHCP确定IPstep3 配置网络访问Internetstep4 停止网络管理器关闭防火墙step5 关闭SELinuxstep6 更新yumstep7 安装Openstack RPMstep8 安装PackStackstep9 修改ssh配置step10 生成与修改应答文件step11 部署和运行Openstacksetp12 成功部署激动人心的BUG解决环节bug1 提示找不到HOSTNAME命令bug2 Error: Executi原创 2022-05-13 23:18:31 · 2913 阅读 · 10 评论 -
阿里云镜像服务关联Github上传Docker容器制作的镜像
本文目录写在前面配置前须知step0 上篇文章step1 查看容器step2 注册阿里云并绑定Githubstep3 创建镜像仓库step4 制作镜像step5 进入仓库查看仓库信息step6 命令行登录阿里云容器镜像服务网站写在前面配置前须知请用root用户登录虚拟机,以保证有充分的操作权限可以使用第三方终端来连接虚拟机,这样会让我们配置的效率更高有良好的心态来应对可能出现的意料之外的问题,有问题可以留言或私信,博主将会第一时间回复第三方终端可以使用Windows自带的cmd,也可以使原创 2022-05-06 16:54:05 · 2138 阅读 · 0 评论 -
Docker 上部署一主两从Hadoop集群 | [Centos7]
本文目录写在前面配置前须知集群规划step1 开启docker拉取镜像step2 创建容器step3 免密登录配置1. ip查看2. 设置主机名3. 主机名与ip地址映射4. 免密登录5. 免密登录效果***bug fix1.0 /etc/hosts修改完成后重启容器失效step4 关闭防火墙step5 hadoop配置文件修改1. core-site.xml2. hdfs-site.xml3. mapred-site.xml:4. yarn-site.xml5. slaves6. 测试互联互通7. 传送到原创 2022-05-05 23:37:23 · 5538 阅读 · 21 评论 -
云计算集群搭建记录[Hadoop|Zookeeper|Hbase|Spark | Docker |OpenStack]更新索引 |动态更新
为了能够更好的查看所更新的文章,讲该博文设为索引小约定为了解决在编辑文件等操作的过程中的权限问题,博主一律默认采用root账户登录对于初次安装的用户可以采用如下命令行:sudo passwd root输入当前用户密码之后,然后输入想要更改的密码退出登陆之后就可以使用root登录了Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群1...原创 2022-03-24 21:10:17 · 4811 阅读 · 0 评论 -
CentOS7下安装配置Docker | 并创建镜像提交到DockerHub
本文目录step1 Docker下载安装step2 设置docker启动dockerstep3 docker基本操作开启docker查找镜像拉取镜像构建镜像创建脚本文件创建Dockerfile构建运行step4 Docker Hub账户创建step5 创建仓库提交镜像登录dockerHub创建仓库给镜像打标签查看镜像提交镜像信息查看step1 Docker下载安装yum -y install docker当安装结束之后,输入docker version查看版本:第一次下载之后,只显示Clie原创 2022-04-28 23:49:41 · 2223 阅读 · 10 评论 -
Spark集群搭建记录 | 云计算[CentOS7] | Scala Maven项目访问Spark(local模式)实现单词计数
本文目录写在前面step1 下载Scala IDEstep2step3 Scala 下载step4 Scala 配置step5 创建scala项目step6 创建scala objectstep7 修改pom文件配置项目设置输入路径写在前面本系列文章索引以及一些默认好的条件在 传送门要想完成Spark的配置,首先需要完成Hadoop&&Spark的配置Hadoop配置教程:链接若未进行明确说明,均按照root用户操作step1 下载Scala IDE本来在Eclipse的原创 2022-04-17 19:42:06 · 2819 阅读 · 1 评论 -
Spark集群搭建记录 | 云计算[CentOS7] | Spark配置
本文目录写在前面step1 Spark下载step2 修改环境变量~/.bashrc/etc/profile配置文件修改slavesspark-env.shstep3 配置slave节点集群启动web浏览器状态查看配置开机启动(可选)写在前面本系列文章索引以及一些默认好的条件在 传送门要想完成Spark的配置,首先需要完成Hadoop的配置Hadoop配置教程:链接若未进行明确说明,均按照root用户操作step1 Spark下载下载链接因为后续可能会涉及到很严重的版本问题,所以说在这原创 2022-04-16 00:28:30 · 1708 阅读 · 1 评论 -
HBase集群搭建记录 | 云计算[CentOS7] | Maven项目访问HBase
本文目录写在前面step1 Maven的下载与配置1. 下载解压2.环境变量设置3. 查看安装4. 设置阿里云镜像[加速jar包下载]step2 Maven项目的创建写在前面本系列文章索引以及一些默认好的条件在 传送门默认使用master节点并用root用户登录终端进行操作默认在操作本篇博客时HBase已经配置完毕step1 Maven的下载与配置1. 下载解压博主使用的是经典maven3.6.3版本,和学习Java EE的时候用的版本是相同的要是有需要可以通过链接下载博主下载的版本为原创 2022-04-08 15:46:17 · 3245 阅读 · 1 评论 -
HBase集群搭建记录 | 云计算[CentOS7] | HBase完全分布式集群搭建
写在前面本系列文章索引以及一些默认好的条件在 传送门默认使用master节点并用root用户登录终端进行操作step1 下载并解压HBase官网下载地址博主因为课程需要以及版本问题,下载的版本为2.0.5请注意版本兼容性问题,具体适配情况如下图:因为Hadoop为3.1.1,所以说HBase下载2.0.5是支持的该版本下载地址下载完成后,将该文件放置在/usr/local/下老样子,将该文件解压到该目录下并重命名cd /usr/localtar -zxvf hbase-2.0原创 2022-04-07 23:50:44 · 2383 阅读 · 4 评论 -
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建
写在前面本系列文章索引以及一些默认好的条件在 传送门在配置Zookeeper之前,建议先配置Hadoop集群,具体的操作流程博主已更新完成,链接step1 Zookeeper安装包的下载Zookeeper的安装包版本不太相同,大致分为有编译过的和没有编译过的(如有错请留言指正一般情况下对于我们在解压配置就能使用的情况下,我们可以下载编译之后的版本,比如在官网上:下面代表着源代码,我们应该选择不在红框之内的Zookeeper仓库本文以3.5.9为例,应该下载上方连接中的:这个版本的解原创 2022-04-07 20:43:25 · 1528 阅读 · 2 评论 -
Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群 Master运行WordCount
写在前面本系列文章索引以及一些默认好的条件在 传送门step1 eclipse访问hadoop首先需要明确eclipse安装目录,然后将hadoop-eclipse-plugin_版本号.jar插件放在安装目录的dropins下关于插件,可以通过博主上传到csdn的免费资源获取,链接具体版本可以自己选择:step2 重启并配置eclipse在eclipse界面中依次选择:Window→show view→other→MapReduce Tools/Map/Reduce Location原创 2022-04-07 18:08:13 · 982 阅读 · 4 评论 -
Hadoop集群搭建记录 | 云计算[CentOS7] | Eclipse安装并创建第一个项目
写在前面本系列文章索引以及一些默认好的条件在 传送门因为课程需要,我们要进行Eclipse的安装操作eclipse需要是CentOS下的,网址在:传送门在出现的页面中:根据自身的机型选择合适的类型,博主为x86_64,在弹出的界面中,可以选择镜像网站:可以直接在虚拟机环境下下载,也可以在Windows主机中下载然后传到虚拟机中下载出来之后,我们可以在存放的位置查看到刚才下载的eclipse安装包然后将其移动到/opt下:mv 下载的eclipse文件名 /opt然后对文件进行原创 2022-03-24 21:56:09 · 2155 阅读 · 0 评论 -
Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群 Hadoop安装配置
写在前面本系列文章索引以及一些默认好的条件在 传送门所有节点均需要安装并配置Hadoop一共设置了两个节点,分别是master && slave1step1. Hadoop下载博主使用的是Hadoop3.1.1,可以去Hadoop官网下载step2. Hadoop解压安装将下载后的Hadoop包放置在/usr/local之下,然后使用如下命令:cd /usr/localtar -zxvf /usr/local/hadoop-3.1.1.tar.gz -C /usr/l原创 2022-03-29 23:01:44 · 1904 阅读 · 0 评论 -
Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群 各节点之间免密登录
写在前面本系列文章索引以及一些默认好的条件在 传送门首先在master节点操作!!!step1 安装openssh-server在配置ssh免密登录之前,需要在三个节点先安装好openssh-serveryum install openssh-serverstep2 .ssh文件夹的创建及生成密钥文件切换目录到root用户的.ssh目录下:(如果没有,请先创建:mkdir -p ~/.sshcd ~/.ssh在进入该目录之后用命令生成密钥文件,ssh-keygen -t rsa原创 2022-04-07 17:28:54 · 1181 阅读 · 0 评论 -
Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群 Java环境配置(Oracle JDK)
写在前面本系列文章索引以及一些默认好的条件在 传送门本文以CentOS7为例来进行搭建step1. 下载jdk博主设置的jdk版本为jdk1.8(8u181),官网下载地址可以根据需要选择自己的版本博主提供自己的阿里云分享链接step2. 删除原有的open jdk查看原有的JDK:java -version如果已经安装了open jdk的话,可以通过命令rpm -qa | grep java查看有关的组件,然后卸载上面显示出来的相关的组件:rpm -e --nodeps 包名原创 2022-03-29 21:59:47 · 3010 阅读 · 0 评论 -
Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群[主机名与ip映射+修改配置文件]
推荐博文:https://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html本记录连载,不定时更新物理机不充足,所以就只好用虚拟机,并假设已经安装好了CentOS7.0 的虚拟机配置局域网主机在确定了宿主机和虚拟机的ip地址之后,我们修改Windows中的hosts文件(位置在C:\windows\system32\drivers\etc\hosts),在下面加入几行:因为博主有两个虚拟机,一个为master,另一个为slave1,通原创 2022-03-17 00:31:04 · 3926 阅读 · 3 评论