云计算
文章平均质量分 69
Sicilly_琬姗
这个作者很懒,什么都没留下…
展开
-
在阿里云Serverless K8S集群上部署Spark任务并连接OSS(详细步骤)
在阿里云ASK集群上部署Spark任务并连接OSS简介ASK是阿里云的一个产品,属于Serverless Kubernetes 集群,这次实验是要在ASK集群上运行Spark计算任务(以WordCount为例),另外为了能让计算和存储分离,我使用了阿里云OSS来存放数据。(连接OSS这块找了好多资料都不全,在本地可以运行的代码一放在集群就报错,遇到很多bug才终于弄好了,记录下来希望对以后的小伙伴有帮助)环境准备本机需要安装:JAVA jdk1.8IDEAMavenDocker(安装在Li原创 2021-12-21 23:09:53 · 3090 阅读 · 0 评论 -
使用Docker安装Spark集群(带有HDFS)
本实验在CentOS 7中完成第一部分:安装Docker这一部分是安装Docker,如果机器中已经安装过Docker,可以直接跳过[root@VM-48-22-centos ~]# systemctl stop firewalld[root@VM-48-22-centos ~]# systemctl disable firewalld[root@VM-48-22-centos ~]# systemctl status firewalld[root@VM-48-22-centos ~]# sete原创 2021-12-16 14:41:50 · 4955 阅读 · 2 评论 -
解决ansible报错“msg“: “Failed to import docker-py - cannot import name __version__.
错误提示在运行一个ansible-playbook文件时报错:明明安装了docker-py和相关依赖仍然报错错误原因ansible使用的python解释器和我安装了docker-py的解释器不是同一个解决方式需要在playbook文件中指定ansible_python_interpreter例如:- hosts: zookeepers vars: ansible_python_interpreter: /usr/bin/python3 roles: - zookeepe原创 2021-04-30 21:00:00 · 618 阅读 · 1 评论 -
使用docker构建并测试一个基于Sinatra的Web应用程序
内容来自《第一本Docker书》5.2节和博文整理而成使用Docker构建并测试Web应用程序在这个例子里,我们将创建一个应用程序,它接收输入的URL参数,并以JSON散列的结构输出到客户端。通过这个例子,我们也将展示一下如何将Docker容器链接起来。1.构建Sinatra应用程序在sinatra目录下创建一个webapp目录,这个目录作为Sinatra Web应用程序的根目录cd sinatramkdir webappls在webapp目录下创建一个lib目录,然后在lib目录中原创 2021-04-28 22:49:43 · 289 阅读 · 0 评论 -
容器中构建镜像慢,在dockerfile中换源加速
Dockerfile中在RUN apt-get update之前添加如下两句代码:RUN sed -i s@/archive.ubuntu.com/@/mirrors.aliyun.com/@g /etc/apt/sources.listRUN apt-get clean即可替换成阿里源,加快镜像构建速度转载 2021-04-01 09:40:10 · 1221 阅读 · 0 评论 -
docker容器内无法下载到alpine的资源,报错network error (check Internet connection and firewall)
问题描述最近在根据一篇教程安装openwhisk,前面的过程都比较顺利,但到了使用docker来构建镜像的时候,由于项目中的dockerfile文件里用到了https://alpine.global.ssl.fastly.net/alpine/v3.12/main这个地址,而这个地址在国内无法正常访问,报错如下:走过的弯路在这里卡了很久,先尝试在虚拟机里设置代理,但到了容器里也还是无法访问。还试过先在主机下载好该文件,却不知道应该传到容器里哪个目录下解决方法最后我的解决办法是:发现卡住的地方原创 2021-03-07 14:37:23 · 3709 阅读 · 2 评论 -
在Ubuntu18上搭建K8s集群(1.19.3)
环境准备为了演示简单,准备两台4GB内存,20GB硬盘的虚拟机,操作系统为ubuntu18.04-server角色IPHostNameMaster192.168.47.144master-k8sNode192.168.47.145node1-k8s前置准备前置准备部分在master和node1都要分别执行:换源sudo cp /etc/apt/sources.list /etc/apt/sources.list.baksudo vim /etc/a原创 2021-03-01 20:56:43 · 942 阅读 · 1 评论 -
在阿里云服务器上安装docker
通过XShell连接上自己的云服务器,我的是CentOS7显示操作系统的发行版号[root@izbp19qq88w1vt31f8zf3vz ~]# uname -r3.10.0-514.26.2.el7.x86_64[root@izbp19qq88w1vt31f8zf3vz ~]# cat /etc/os-release NAME="CentOS Linux"VERSION="7 (Core)"ID="centos"ID_LIKE="rhel fedora"VERSION_ID="7.原创 2020-08-02 23:11:40 · 2053 阅读 · 0 评论