自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(9)
  • 收藏
  • 关注

原创 CKA-kubernetes 部署-hard-way-1.9-end

直到前篇完成了从拉起VMs,生成K8s组件的各种Crt,Key。最后1.8部署了ETCD service,后面的流程不再赘述,请参照。下面针对安装过程中出现的问题以及解决方案做一下记录。通过此篇文章总结了安装中出现的问题以及解决方案,最后并验证部署的K8s运转正常。

2022-08-25 14:29:20 148 1

原创 CKA-kubernetes 部署-hard-way-1.6-1.8

在CKA-kubernetes 部署-hard-way-1.4-1.5中,添加了encruption key的配置文件,本篇安装K8s需要的各个组件,包括Etcd,Controll plane。

2022-08-22 22:44:26 282

原创 CKA-kubernetes 部署-hard-way-1.4-1.5

本篇为deploy kubernete hard way的第2篇,如果想从头操作或者了解此过程参照CKA-kubernetes 部署-hard-way-1.1-1.3。在上述文章中完成了VMs的部署,下面进行kubernetes config文件的配置,包含了controller manager, kube-proxy, scheduler clients and the admin user 组件或者角色。

2022-08-21 17:03:38 197

原创 CKA-kubernetes 部署-hard-way-1.1-1.3

本篇日记将记录不同部署kubernetes的production 环境,如果是学习环境的部署可以参照。部署完毕后,进行压力以及安全测试,逐步迭代熟悉production cluster的部署考量。

2022-08-20 22:33:50 353

原创 如何在Kubernetes 上部署Airflow--续篇2

上一篇记录了如何修改airflow的配置文件,并更新部署在K8s cluster上面的airflow,本篇将记录如何building the image 以及添加 dags文件提示.本篇笔记记录了如何添加airflow应用的各种库文件,即extending the base image,以及如何mount dags文件,这部完成后,基于k8的一个airflow cluster就部署完成,1个master nodes,3个work nodes。

2022-08-19 14:38:29 306

原创 如何在Kubernetes 上部署Airflow--续篇1

在上一篇中我们已经在K8scluster中部署了Airflow,本篇将通过修改values.yaml文件来实现修改Airflow的相关配置,并upgrade airflow,后续将对如何上载dag文件以及添加requirement.txt的相关操作步骤进行记录。

2022-07-29 21:04:09 457 1

原创 如何在Kubernetes 上部署Airflow

如何在Kubernetes上面部署Airflow。

2022-07-29 18:34:18 2015

原创 搭建Nginx 图片服务器

这里写目录标题项目需求解决思路详细流程项目需求由于抓取的微信公众号中的图片链接插入新的html文本后出现访问问题,因此几乎用云主机的链接下载图片后,替换原来的微信默认链接,保证图片访问正常。解决思路下载图片到云主机(scrapy-imagePipeline)用云主机的链接地址替换微信默认链接启用Nginx服务详细流程下载图片:修改settings.py,添加image pipelineITEM_PIPELINES = {'scrapy.pipelines.images.Im

2021-05-12 22:27:56 82

原创 微信公众号文章抓取

微信公众号文章抓取需求思路Scapy文件结构代码references需求抓取微信公众号历史发表的文章URL去重如果某页的列表中某篇文章已经抓取,则不继续翻页思路大体思路借鉴Python抓取微信公众号全部文章,微信扫码登陆获取cookies,token,发送request请求得到fakeid(公众号)得到请求页数的参数得到微信公众号的文章链接把上述链接导入scrapy进行抓取文章内容Scapy文件结构代码import reimport timefrom fake_us

2021-04-24 20:47:57 780 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除