Ezrealer-CSDN博客

原创【DevOps】Kubernetes 理论与实践大纲

Kubernetes 理论与实践大纲理论基础DevOpsSRE云原生1、背景2、目的3、价值体现4、特性5、要素6、相关技术7、整体架构8、实现路径实践环境机房：世纪互联机房、瑞德机房；系统：centos7.9实践方案与工作内容构建镜像体系1、基础镜像（java、python、java+python、java + C++）2、服务镜像（Redis、Kafka、selenium+python、NodeJs、Tomcat）3、应用镜像（爬虫、下载、文本分析、补信息、特征

2021-11-23 15:57:46 3192 1

原创【个人随笔】2021 计划

pip 网站统一库所有业务统一用这个标准库，共同维护腾讯霍潮品 kol大数据分析补信息完整的日志与错误记录流程（保证不漏信息）kafka稳定性分析，通过写自动脚本删除主题，维持主题数稳定，保证kafka稳定学习 vue + elementUI + FLASK(fastAPI)(GO框架) 做微服务接口与个人站（集成工具服务与业务服务）k8s学习shell语言（linux编程语言，学习写脚本，自动化完成批量服务器环境部署）定期查看youtube ins的稳定性系统各个模块的安全性整理数据

2021-01-26 12:20:58 170 2

原创【Linux】Centos 7.9 新机器的一般部署方案

1、查看系统信息：Linux版本：cat /etc/redhat-release内核版本：cat /proc/version2、查看内存、硬盘、CPU 信息# 硬盘df -h# 内存free -h# 网卡信息（IP 、MAC），需要先 yum install -y net-toolsifconfig# cpu信息cat /proc/cpuinfo cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c # cpu型号cat

2020-12-17 16:56:55 1166

原创【爬虫】爬虫常用代码（查阅）

检索目录编码与解码unicode编码转中文16进制转中文url encode的解码与解码html转义字符的解码base64的编码与解码过滤emoji表情解析htmlbeautifulsoup解析页面完全过滤script和style标签过滤html的标签，但保留标签里的内容正则提取内容（一般处理json）时间处理常规时间处理各种时间格式的处理方式数据库操作常规操作根据字典的key构造动态sql使用代理requestsscrapy请求graphql编码与解码unicode编码转中文content = "\

2020-06-08 14:42:19 1215

原创【Linux】Linux 运维（查阅）

2020-06-08 14:41:03 281

原创我的创作纪念日

提示：你过去写得最好的一段代码是什么？提示：当前创作和你的工作、学习是什么样的关系。提示：可以和大家分享最初成为创作者的初心。提示：在创作的过程中都有哪些收获。提示：职业规划、创作规划等。

2023-06-11 23:31:31 414 1

原创【个人随笔】内容运营计划

覆盖平台微信公众号、知乎、掘金、简书、CSDN、博客园头条号、百家号、思否哔哩哔哩、小红书编辑工具微信公众号：https://doocs.gitee.io/md/#/模块一篇文章的组成文章 = 封面 + 标题 + 文首引导关注 + 内容 + 文末引导转发点赞/转发/打赏排版工具推荐高大上的文章封面怎么做稿定设计 https://www.gaoding.com/创客 https://www.chuangkit.com/图怪兽 https://818ps.com/公众号模板的使用

2021-11-03 13:30:14 303

原创【DevOps】云原生体系（更新中。。。）

镜像篇dockerfile 使用方法如何精简镜像体积镜像分类（基础镜像、应用镜像、服务镜像等）镜像管理（harbor）

2021-10-14 14:36:50 146

原创【工具】好的工具推荐

一键发布多平台：artipub

2021-09-29 13:46:16 5090

原创【DevOps】kubernetes 面板

Kubesphere 与 Rancher 与 kuboard 与 dashboard 与 Prometheus 与 lens

2021-09-26 22:47:40 128

原创【Python】FastAPI 实践

https://zhuanlan.zhihu.com/p/[email protected]("/items/{item_id}")async def get_item(item_id): return {"item_id": item_id}# http://127.0.0.1:5555/items/1if __name__ == "__main__": uvicorn.run("fastapi_demo:app", host="0.0.0.0", po

2021-08-23 15:36:37 483

原创【Python】Python 操作数据库合集

Mysqlpymysql1、获取连接def get_mysql_conn(): while True: try: conn = pymysql.connect( host = "127.0.0.1", port=3306, user="root", password="123", db="ez

2021-08-17 11:50:02 196

原创【Python】flask-restful 开发与部署 API

flask-restful 实践安装pip install flaskpip install flask-restfulpip install flask-httpauth一个 Demoadd_resource ：路由地址和函数绑定；from flask import Flask,jsonifyfrom flask_restful import Api,Resourceapp=Flask(__name__)api=Api(app)class IndexView(Res

2021-08-16 17:55:07 428

原创【DevOps】Gitlab CI/CD

安装 gitlab-runnerhttps://docs.gitlab.com/runner/install/linux-repository.htmlcurl -L "https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.rpm.sh" | sudo bashsudo yum install gitlab-runnersudo gitlab-runner register

2021-08-10 14:32:42 893

原创【DevOps】Centos 7.9 安装、部署与使用 k8s集群（v1.21.3）

yum install -y chrony && systemctl enable --now chronydhostnamectl set-hostname k8s-173echo "192.168.10.203 k8s-173" >> /etc/hostssystemctl status firewalld.service systemctl stop firewalld.servicesystemctl disable firewalld.service

2021-07-26 19:07:49 1200

原创【DevOps 实践之路】（三） git + gitlab + webhook 自动化托管与代码同步

背景在上一篇文章中，经过了 Tmux 和 Tmuxp 组合的实践，我可以通过描述文件（yaml）的方式，仅仅有条的把各个程序运行在服务器上，解决了以下几个问题：1、可以记录启动了哪些程序，每个程序的启动步骤；2、关掉终端后，程序也不会关闭3、通过 tmux ls，很容器查看有哪些会话，每个会话里各个程序的运行情况，非常适合脚本类任务的运行；但是随着业务的不断开展，代码变更越来越频繁，每次变更代码后，我都要把代码托到服务器上，然后重启程序，如果是爬虫这种需要分布部署的程序，则需要打开多个 XSHE

2021-07-14 17:43:21 616

原创【DevOps 实践之路】（二）Tmux+Tmuxp 让部署与查看更方便

几个痛点在刚工作的时候，我直接把代码在 IDE 中进行编写并 shift + F10 运行，在一个 IDE 中可以同时运行多个程序，不用考虑部署问题；但是毕竟工作环境稳定性不够，断电、断网，机器更新重启等都会导致程序中断，于是为了稳定性，决定把程序部署在服务器上，即通过 Xftp 将代码上传到服务器之后，在 Xshell 中运行，但是 Xshell 中运行程序也会遇到一些问题。1、本机通过 Xshell 连接到服务器后，编译程序、运行程序或者传输、下载文件时，如果遇到断电或者断网，Xshell将断开，

2021-07-07 15:36:40 510

原创【DevOps 实践之路】（一）关于《DevOps 实践之路》

理解 DevOps占位

2021-06-03 17:18:08 248

原创【Linux】Shell 脚本

#!/bin/bash -ileximages=("audio_compare" "extract_frame" "extract_image" "extract_long_video" "extract_video" "extract_video_ex" "extract_video_qf_sf" "identify_wevideo" "image_compare" "long_video_compare" "python" "scrapyd_spider" "short_vide

2021-05-31 18:08:47 205

原创【DevOps】Harbor 的安装与使用

Harbor 介绍安装 Harbor（189 机器）安装 Docker Compose1、在 docker-compose 官网中找到最新版本https://github.com/docker/compose/releases/cd /usr/softwarewget https://github.com/docker/compose/releases/download/1.29.1/docker-compose-Linux-x86_64 -O /usr/local/bin/docker-co

2021-05-08 14:44:28 185

原创【Elasticsearch】Elasticsearch 安装配置与实践

python 操作 Elasticsearch插入from elasticsearch import Elasticsearches = Elasticsearch(hosts="120.133.17.175", port=9200, http_auth=('elastic', 'RdCm*_*!so@c0ol'), timeout=3600)result = es.index(index="test",body={"first_name":"xiao","last_name":"xiao",

2021-04-29 18:00:09 307

原创【Ceph】Ceph 分布式文件存储

Ceph官方文档（有中文版本）http://docs.ceph.org.cn/简介Ceph是一个统一的分布式存储系统；RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储；优点1、高性能：CRUSH算法，均衡分布数据，并行度高；有副本机制，支持容灾；可扩展上千存储节点，达到TB到PB级；2、高可用：副本数与故障域灵活、支持多种故障场景自动修复；3、高扩展性：去中心化、扩展灵活；4、特性丰富：支持三种存储接口：块存储、文件存储、对象存储；可自定义存储接口与多

2021-04-27 17:48:54 810

原创 Prometheus + Grafana （二）实现自动告警

服务器的监控与告警参考：https://mp.weixin.qq.com/s/DILXvkvpS25VJbb3FalBqQCPU内存磁盘可用性服务状态网络CPU100-(avg(irate(node_cpu_seconds_total{mode="idle"}[5m])) by(instance)* 100) > 60node_load5 > on (instance) 2 * count by(instance)(node_cpu_seconds_total{mode=

2021-04-20 13:28:40 206

原创【Kafka】kafka-2.13_2.7.0 集群的安装配置与最佳实践

OS page cache：应当可以缓存所有活跃的 Segment（Kafka 中最基本的数据存储单位）；fd 限制：100k+；禁用 swap：内存达到临界值会走IOJVMJDK 8 并且使用 G1 垃圾收集器；至少要分配 6-8 GB 的堆内存。-Xmx8g -Xms8g -XX:MetaspaceSize=96m -XX:+UseG1GC-XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegio

2021-04-16 17:40:37 905

原创【Redis】Redis 6.2.1 的集群搭建与最佳实践

Redis 集群实现原理集群目的1、高可用：及一台机器宕机后，Redis仍能正常使用2、分布式存储：及可以多个机器共同存储，防止一个机器内存不够的情况集群的两种历史模式回顾1、主从模式分为1个主库和多个从库，初始化时从库发送 SYNC 命令到主库完成同步数据，初始化后主库每次接收到写命令都会同步到从库；从库挂掉对Redis无影响，主库挂掉则无法写 Redis；2、Sentinel 模式（哨兵模式）也有1主多从，他们之间通过发送 PING 互相监控，但是一个主挂了后会从其他从选取一个

2021-04-16 15:49:15 635

原创【Linux】journal 的基本操作与持久化日志

journal持久化 journal 日志mkdir /var/log/journalchgrp systemd-journal /var/log/journalchmod g+s /var/log/journalsystemctl restart systemd-journaldjournalctl --list-bootsjournalctl -b 0journalctl -b 1# /run/log/journal目录被/var/log/journal目录代替或者

2021-04-14 14:41:35 884

原创【Python】远程操作Linux的工具 paramiko

paramiko安装pip install paramikoSSHClient 类1、介绍对SSH会话的封装，该类封装了传输(Transport)，通道(Channel)及 SFTPClient 建立的方法(open_sftp)，通常用于执行远程命令。2、实例client = paramiko.SSHClient() client.set_missing_host_key_policy(paramiko.AutoAddPolicy())client.connect(hostname

2021-04-11 15:18:16 121

原创【Linux】Centos7 的 Systemctl 与创建系统服务

Systemctlsystemctl 命令用法：systemctl [OPT] COMMAND [NAME]…启动服务：systemctl start NAME.service停止服务：systemctl stop NAME.service重启服务：systemctl restart NAME.service服务状态：systemctl status NAME.service条件式重启，已启动才重启，否则不作操作：systemctl try-restart NAME.service重载或重

2021-04-09 14:22:57 582

原创【Linux】windows 编辑的 shell 脚本在 linux 的执行办法

报错：’\r’: command not found因为 Windows下换行符是\r\n，unix下是\n解决：yum install -y dos2unixdos2unix xxx.shbash xxx.sh

2021-04-08 16:19:41 115

原创【DevOps】 Prometheus + Grafana （一）安装配置与系统级监控

关于PrometheusCentos7 安装 Prometheus参考：https://blog.csdn.net/baidu_36943075/article/details/91829364Centos7 安装 Go 环境wget https://studygolang.com/dl/golang/go1.10.3.linux-amd64.tar.gz #下载包sudo tar -C /usr/local -xzf go1.10.3.linux-amd64.tar.gz #解压包

2021-04-05 00:47:27 588

原创【DevOps】终端复用神器 Tmux

TmuxTmux 安装安装 Tmux 的依赖包Tmux 依赖 libevent 2.x 和 ncurses编译工具：gcc ，make，pkg-configyum install libevent-devel ncurses-devel gcc make bison pkg-config多种 Tmux 安装方法1、系统命令安装这种安装对于 centos 来说，往往会安装比较旧的版本，遗留了很多不稳定的问题，且很多新功能也不存在；yum install tmuxapt insta

2021-03-28 01:24:41 123 1

原创【DevOps】基于 gitlab + jenkins + docker 的代码管理与镜像、容器更新部署方案

基于 docker + docker swarm + docker registry + gitlab + jenkins参考https://www.cnblogs.com/shawhe/p/11313633.html目的1、将业务打包容器化，实现快速部署多台机器；2、代码发生变化时自动更新镜像；3、自动拉取新的镜像；4、自动重启容器使之生效的；实现方案1、通过 docker swarm 实现多台机器快速部署多个容器2、通过 push 代码到自建的 gitlab 之后，触发 jenki

2021-03-17 18:11:25 1076

原创【Linux】服务器安全措施

安全策略（固定IP 白名单 + 不固定 IP VPN）sock5代理深信服VPN思科官方vpn跳板机行云管家齐治、安恒深信服行云管家10个用户 40个资产包售后和安装部署调试，4w8新增10台机器（6000），新增10个用户（4000)...

2021-03-03 17:17:11 108 1

原创【DevOps】常用的 dockerfile 集锦

python3.8 + seleniumFROM 120.xxx.xx.189:5000/python:3.8RUN /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo 'Asia/Shanghai' >/etc/timezoneRUN wget -q -O - https://dl.google.com/linux/linux_signing_key.pub | apt-key add -RU

2021-02-23 17:18:42 240

原创【DevOps】代码托管与自动化同步变更

方案介绍目的通过 git + gitee + flask + webhook 完成如下两个目的：1、本地代码上传与托管2、代码发生变更时，自动同步到服务器环境本地环境：windows10服务器环境：Centos 7.9Git 的安装与使用Centos7.9 安装 git...

2021-02-23 15:15:38 288

原创【产品志】全白色 MATX 方案

分型工艺d7 恩杰的机箱主板是吹雪内存是皇家戟冷排是idcooling的花嫁联名显卡我觉得七彩虹白最好看 6800xt樱瞳啊

2021-02-22 00:07:44 492

原创【数据库】数据库选型调研

TiDBhttps://docs.pingcap.com/zh/tidb/stable/overview开源分布式关系型数据库；支持在线事务处理与在线分析处理；水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态。为用户提供一站式 OLTP (Online Transactional Processing)、OLAP (Online Analytical Processing)、HTAP 解决方案。适合高可用、强一致要求较高、数

2021-02-21 23:50:50 145

原创【产品志】华硕 ARUA 的 ARGB 方案

参考资料https://www.bilibili.com/video/av970232755/https://www.bilibili.com/video/BV1Vh411f7c1?p=1&share_medium=android&share_plat=android&share_source=COPY&share_tag=s_i&timestamp=1608992059&unique_k=DUsa6e

2021-02-17 00:05:45 1657

原创【DevOps】Docker 常用命令

Docker批量处理1、批量停止容器docker stop $(docker ps -a | grep "xxx" | awk '{print $1}')docker stop 停止容器$() 返回在括号内运行脚本的结果docker ps -a 列出所有容器的docker| grep “xxx” 管道上一个命令的结果，grep以搜索包含字符串xxx的行| awk ‘{print $1}’ 管道的结果grep搜索到的awk命令，该命令被告知仅打印在第1列，其是容器的ID的值docker

2021-02-16 12:13:05 225

原创【Linux】配置动态链接库的几种方法

参考：https://blog.51cto.com/10941585/1915979error whilel oading shared libraries:libluajit-5.1.so.2: cannot open shared解决办法一般我们在Linux下执行某些外部程序的时候可能会提示找不到共享库的错误, 比如:tmux: error while loading shared libraries: libevent-1.4.so.2: cannot open shared object fi

2021-02-03 16:05:49 1364

空空如也

空空如也