渔夫的石头
码龄7年
关注
提问 私信
  • 博客:6,274
    6,274
    总访问量
  • 9
    原创
  • 624,133
    排名
  • 1
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:哈萨克斯坦
  • 加入CSDN时间: 2017-08-30
博客简介:

qq_40025970的博客

查看详细资料
个人成就
  • 获得0次点赞
  • 内容获得3次评论
  • 获得5次收藏
创作历程
  • 7篇
    2022年
  • 2篇
    2021年
成就勋章
TA的专栏
  • kubernetes
    7篇
  • Airflow
    3篇
兴趣领域 设置
  • Python
    pythonscikit-learn
  • 人工智能
    数据分析
  • 云平台
    azureaws
创作活动更多

HarmonyOS开发者社区有奖征文来啦!

用文字记录下您与HarmonyOS的故事。参与活动,还有机会赢奖,快来加入我们吧!

0人参与 去创作
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

CKA-kubernetes 部署-hard-way-1.9-end

直到前篇完成了从拉起VMs,生成K8s组件的各种Crt,Key。最后1.8部署了ETCD service,后面的流程不再赘述,请参照。下面针对安装过程中出现的问题以及解决方案做一下记录。通过此篇文章总结了安装中出现的问题以及解决方案,最后并验证部署的K8s运转正常。
原创
发布博客 2022.08.25 ·
247 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

CKA-kubernetes 部署-hard-way-1.6-1.8

在CKA-kubernetes 部署-hard-way-1.4-1.5中,添加了encruption key的配置文件,本篇安装K8s需要的各个组件,包括Etcd,Controll plane。
原创
发布博客 2022.08.22 ·
489 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

CKA-kubernetes 部署-hard-way-1.4-1.5

本篇为deploy kubernete hard way的第2篇,如果想从头操作或者了解此过程参照CKA-kubernetes 部署-hard-way-1.1-1.3。在上述文章中完成了VMs的部署,下面进行kubernetes config文件的配置,包含了controller manager, kube-proxy, scheduler clients and the admin user 组件或者角色。
原创
发布博客 2022.08.21 ·
313 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

CKA-kubernetes 部署-hard-way-1.1-1.3

本篇日记将记录不同部署kubernetes的production 环境,如果是学习环境的部署可以参照。部署完毕后,进行压力以及安全测试,逐步迭代熟悉production cluster的部署考量。
原创
发布博客 2022.08.20 ·
616 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

如何在Kubernetes 上部署Airflow--续篇2

上一篇记录了如何修改airflow的配置文件,并更新部署在K8s cluster上面的airflow,本篇将记录如何building the image 以及添加 dags文件提示.本篇笔记记录了如何添加airflow应用的各种库文件,即extending the base image,以及如何mount dags文件,这部完成后,基于k8的一个airflow cluster就部署完成,1个master nodes,3个work nodes。
原创
发布博客 2022.08.19 ·
415 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

如何在Kubernetes 上部署Airflow--续篇1

在上一篇中我们已经在K8scluster中部署了Airflow,本篇将通过修改values.yaml文件来实现修改Airflow的相关配置,并upgrade airflow,后续将对如何上载dag文件以及添加requirement.txt的相关操作步骤进行记录。
原创
发布博客 2022.07.29 ·
731 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

如何在Kubernetes 上部署Airflow

如何在Kubernetes上面部署Airflow。
原创
发布博客 2022.07.29 ·
2411 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

搭建Nginx 图片服务器

这里写目录标题项目需求解决思路详细流程项目需求由于抓取的微信公众号中的图片链接插入新的html文本后出现访问问题,因此几乎用云主机的链接下载图片后,替换原来的微信默认链接,保证图片访问正常。解决思路下载图片到云主机(scrapy-imagePipeline)用云主机的链接地址替换微信默认链接启用Nginx服务详细流程下载图片:修改settings.py,添加image pipelineITEM_PIPELINES = {'scrapy.pipelines.images.Im
原创
发布博客 2021.05.12 ·
123 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

微信公众号文章抓取

微信公众号文章抓取需求思路Scapy文件结构代码references需求抓取微信公众号历史发表的文章URL去重如果某页的列表中某篇文章已经抓取,则不继续翻页思路大体思路借鉴Python抓取微信公众号全部文章,微信扫码登陆获取cookies,token,发送request请求得到fakeid(公众号)得到请求页数的参数得到微信公众号的文章链接把上述链接导入scrapy进行抓取文章内容Scapy文件结构代码import reimport timefrom fake_us
原创
发布博客 2021.04.24 ·
929 阅读 ·
0 点赞 ·
1 评论 ·
3 收藏