- 博客(412)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Fedora 42 安装 pssh后 -h hosts.txt指定端口会报错：self.pretty_host = ‘:‘.join((self.pretty_host, port))
使用pip install git+https://github.com/lilydjwg/pssh 安装则不会出现这个问题。最后我找到了GitHub的地址：https://github.com/lilydjwg/pssh 并提交了Issue。最近在整理pssh的相关知识，当我在VMware上做实验时发现，在-h 文件参数中指定ssh的端口 会报错。具体请看：https://github.com/lilydjwg/pssh/issues/146。
2025-11-07 16:00:07
234
原创 开发了一款Iptable可视化管理工具——IptablesWeb
受阿里云“安全组”的启发而开发的Iptables可视化工具。旨在通过直观的管理界面，轻松配置和监控防火墙规则。
2025-09-17 11:02:06
978
原创 Python3.11+Pyside6开发电影下载程序
VideoSave是一款提供下载电影/电视剧的软件，支持注册、登录、搜索、下载、查看日志等功能，提供了Window、Mac系统安装包。
2023-11-21 13:54:44
663
原创 python爬虫2.0.5ProxyIpPool---proxies使用代理IP
代理IP定义：代替你原来的IP地址去对接网络的IP地址作用：隐藏自身真是IP，避免被目标网站封掉。代理IP分类：高匿代理：web端只能看到代理IP普通代理：web端知道有人通过此代理IP访问，但不知道用户真是IP透明代理：web端能看到用户真实IP，也能看到代理IP应用场景：针对高频率访问的IP地址进行了反爬机制，封掉IP地址的网站代理IP地址：自行百度代理IP语法格式 proxies = { 'http': 'http://IP:端口号'
2022-03-19 10:48:54
4853
原创 python---requests模块查询参数params和verity
requests.get()方法中查询参数参数名：params,数据类型未字典作用：对url地址中的查询参数进行编码拼接使用示例res = requests.get(url=baseurl,params=params,headers=headers)url为基准的url地址，不包含查询参数会自动对params字典编码，然后和url拼接SSL证书认证参数参数说明：参数名 verify参数值 True|False适用网站：https类型网站但是没有经过证书认证机构认证的网站适用场景当
2022-03-06 12:55:22
4070
原创 python爬虫2.0.4LianHomeSpider---基于xpath进行获取数据
上海地区"""目标数据： 房源名称、地址、户型、面积、方位、是否精装、楼层、年代、类型、总价、单价"""import requestsfrom lxml import etreeimport randomimport timefrom fake_useragent import UserAgentclass LianHomeSpider: def __init__(self): self.url = 'https://sh.lianjia.com/ershouf
2022-02-28 09:25:23
545
原创 python之xpath练习demo
""""https://y.qq.com/n/ryqq/toplist/26/html/body/div/div/div[2]/div[2]/div[3]/ul[2]/li[1]"""import requestsfrom lxml import etreeurl = 'https://y.qq.com/n/ryqq/toplist/26'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) A
2022-02-20 17:17:47
900
原创 python爬虫2.0.3CarHomeSpiderIncrementalRedis---基于Redis实现增量爬虫
原理Redis基于内存，效率极高利用Redis中集合的特性，自动去重，可以轻松管理所有请求的指纹实现思路利用集合的sadd()方法向集合中添加指纹，根据返回值来判断集合中是否存在该指纹添加成功返回1，表示此请求之前并未抓取过添加失败返回0，表示此请求之前已经抓取过环境准备#cat redis.ymlversion: '3'services: redis: image: redis:5.0.0 container_name: redis co
2022-02-19 15:55:07
424
原创 python爬虫2.02CarHomeSpiderMysqlIncre---Mysql实现增量爬虫
docekr-compose的MySQL yaml文件version: '3'services: mysql: image: 'mysql/mysql-server:5.7' restart: always container_name: mysql environment: MYSQL_ROOT_PASSWORD: 123456 command: --default-authentication-plugin=mysql_native
2022-02-18 10:56:05
1122
原创 python爬虫-2.01CarHomeSpider---两级页面抓取之异常处理
代码展示#!/usr/bin/env python3.8.8# -*- encoding: utf-8 -*-'''@File : test.py@Time : 2022/02/15 08:19:32@Author : 热气球@Version : 1.0@Contact : 17695691664@163.com'''# C:/Users/shiya.liu/AppData/Local/Programs/Python/Python38/python.e
2022-02-15 09:04:30
721
3
原创 python爬虫-2.01CarHomeSpider---两级页面抓取
代码示例""""""汽车之家数据抓取-两级页面爬取目标：车的型号、形势里程、上牌时间、挡位、排量、车辆所在地第一页：https://www.che168.com/china/a0_0msdgscncgpi1ltocsp1exx0/?pvareaid=102179#currengpostion第二页：https://www.che168.com/china/a0_0msdgscncgpi1ltocsp2exx0/?pvareaid=102179#currengpostion第三页：https:/
2022-02-14 22:21:03
968
原创 python爬虫-1.08MaoyanSpiderFilmAddress---持久化存储到MongoDB
docker方式运行MongoDBdocker run -itd --name mongo -p 27017:27017 mongodocker exec -it mongo mongoMongoDB数据库基础知识MongoDB为非关系性数据库，数据以键值对方式存储MongoDB基于磁盘存储MongoDB数据类型单一，值为JSON文档，而Redis基于内存MongoDB：库->集合->文档Mysql： 库->表->表记录MongoD基础语法#查看所有库sho
2022-02-13 22:50:34
1175
原创 Python之OptionParser模块使用
Python——OptionParser模块官网link：https://docs.python.org/3/library/optparse.html文章目录介绍基本用法参数选项OptionParser()parser.add_option()生成帮助错误提示代码示例介绍OptionParser是一个更方便、更灵活、更强大的用于解析命令行选项的库，使用更具声明性的命令行分析样式：创建 OptionParser ，用选项填充它，并解析命令行。 optparse 允许用户以常规GNU/POSIX语
2022-02-08 23:22:08
2011
原创 python爬虫-1.07-MaoyanSpider---持久化存MySQL储
docekr-compose的MySQL yaml文件version: '3'services: mysql: image: 'mysql/mysql-server:5.7' restart: always container_name: mysql environment: MYSQL_ROOT_PASSWORD: 123456 command: --default-authentication-plugin=mysql_native
2021-10-07 19:27:17
508
原创 ceph学习笔记
文章目录ceph架构ceph原理ceph安装ceph在k8s中部署ceph在k8s中使用ceph架构ceph原理ceph安装#前提条件#1、四台机器组成的一个可用的k8s集群 其中一个master 三个node#2、每个node有一个100G未格式化的磁盘====================================#step1：识别磁盘#扫描 SCSI总线并添加 SCSI 设备for host in $(ls /sys/class/scsi_host) ; do echo
2021-09-02 21:01:58
622
原创 二进制方式部署K8S
文章目录简述生产环境部署K8s集群的两种方式准备环境简述生产环境部署K8s集群的两种方式kubeadmKubeadm是一个K8s部署工具，提供kubeadm init和kubeadm join，用于快速部署Kubernetes集群。二进制包从github下载发行版的二进制包，手动部署每个组件，组成Kubernetes集群。小结：Kubeadm降低部署门槛，但屏蔽了很多细节，遇到问题很难排查。如果想更容易可控，推荐使用二进制包部署Kubernetes集群，虽然手动部署麻烦点，期间可以学习很多工作
2021-09-01 15:51:33
665
原创 在K8S中运行gitlab-runner
apiVersion: v1kind: Namespacemetadata: name: gitlab-ci---apiVersion: v1kind: Secretmetadata: name: gitlab-ci-token namespace: gitlab-ci labels: app: gitlab-ci-runnerdata: GITLAB_CI_TOKEN: WmF0Y3JNbUxUbmNncnpKem5CX1UK---apiVersion: v1
2021-08-29 16:33:01
3586
转载 Linux signal 信号
SIGHUP 1 /* Hangup (POSIX). */ 终止进程 终端线路挂断SIGINT 2 /* Interrupt (ANSI). */ 终止进程 中断进程 Ctrl+CSIGQUIT 3 /* Quit (POSIX). */ 建立C
2021-08-24 10:16:38
601
原创 Git的使用
文章目录git简介git诞生背景集中式和分布式版本控制的区别git的作用git工作原理安装gitgit的help命令git配置文件git文件目录结构git使用git常用操作连接远程仓库分支的作用分支策略问题记录git简介git诞生背景Linus在1991年创建了开源的Linux，从此，Linux系统不断发展，已经成为最大的服务器系统软件了。Linus虽然创建了Linux，但Linux的壮大是靠全世界热心的志愿者参与的，这么多人在世界各地为Linux编写代码，那d但是linux的代码管理方式是在
2021-08-20 15:51:28
694
原创 Gitlab-CI
文章目录安装gitlab安装包方式安装docker方式部署gitlab-ce修改默认的管理员密码doceker方式部署docker-runnerdocker-runner注册到gitlab注册命令解释gitlab-runner的执行器命令解释（help为主 man手册有待补充）gitlab-runner的命令解释gitlab-ctl的命令解释gitlab-backupgitlab-psqlgitlab-railsgitlab-rakegitlab的configgitlab-runner的configgitl
2021-08-18 20:07:44
1600
原创 gitlab配置文件-gitlab.rb详解
#可以访问GitLab的URL。external_url 'GENERATED_EXTERNAL_URL'## Roles for multi-instance GitLab##redis角色 redis_sentinel_role redis_master_role redis_replica_role ##gitlab geo角色 geo_primary_role geo_secondary_role##postgres角色 postgres_role ##控制台角色 co
2021-08-18 20:06:40
7414
原创 python爬虫-1.06-MaoyanSpider
"""猫眼电影TOP100抓取"""from urllib import requestimport randomimport timeimport reclass MaoyanSpider: def __init__(self): self.url = 'https://maoyan.com/board/4?offset={}' self.headers = { 'User-Agent': 'Mozilla/5.0 (Wind
2021-08-02 12:00:20
710
原创 python-1.05re正则模块
re模块使用流程#使用方法一r_list = re.findall('正则表达式',html,re.S)#使用方法二pattern = re.compile('正则表达式',re.S)r_list = pattern.findall(html)注意1：使用findall()方法得到的结果一定为列表注意2：re.S作用为使正则表达式元字符.可匹配\n在内的所有字符示例'''re模块正则表达式的使用'''import re#写一个里面r_list = re.findall('A
2021-08-01 16:03:23
314
原创 python爬虫-1.04实战爬取某贴吧
"""抓取指定贴吧的指定页的数据，保存到本地"""from urllib import request,parseimport randomimport timeclass BaiduTiebaSpider: def __init__(self): "定义常用的变量" self.url = 'https://tieba.baidu.com/f?kw={}&ie=utf-8&pn={}' self.headers = {
2021-07-31 23:02:31
426
原创 python爬虫-1.03urllib.parse编码模块
urllib.parse编码模块作用：给URL地址中查询参数进行编码导入方式import urllib.parsefrom urllib import parse示例：编码前 https://www.baidu.com/s?wd=赵丽颖编码后 https://www.baidu.com/s?wd=%E8%B5%B5%E4%B8%BD%E9%A2%9urllib.parse模块中的方法urlencode()方法作用：给URL地址中查询参数进行编码，参数类型为字典应用场景：搜索的关键字为
2021-07-31 21:42:52
535
原创 python爬虫-1.02urllib.request原理及使用
请求模块–rullib.request程序导入方式：-- import urllib.request-- from urllib import request作用像网站发请求，模仿我们平时在浏览器输入地址访问网站一样**urllib.request.urlopen()方法****urlopen()**作用：像网站发起请求并获取响应对象**参数**URL：需要爬取的URL地址timeout：设置等待超时时间，指定时间内未响应，抛出超时异常"""向百度发起请求，并获取百度的响应
2021-07-30 22:19:30
396
原创 python爬虫-1.01summary
什么是网络爬虫网络蜘蛛、网络机器人、抓取网络数据的程序其实就是用python程序模仿人点击浏览器并访问网站，而且模仿的越逼真越好爬虫有风险，代码需谨慎！爬虫被请去喝茶的实例爬虫的目的1、获取大量数据，用来做数据分析2、作为公司项目的测试数据3、公司业务所需数据企业获取数据的方式1、公司自有数据（大厂居多）2、第三方数据平台购买（数据堂、贵阳大数据交易所）3、爬虫爬取数据爬虫语言python：请求、解析模块丰富成熟，强大的scrapy网络爬虫框架PHP：对多线程、异步支持不太好（
2021-07-30 21:27:18
330
原创 docker命令解释
Usage: docker [OPTIONS] COMMANDA self-sufficient runtime for containers容器的自给自足运行时Options: --config string Location of client config files (default "/root/.docker")客户端配置文件的位置（默认“/root/.docker”） -c, --context string Name of the contex.
2021-07-04 10:35:07
1369
原创 Prometheus部署
1、获取安装包wget https://www-1259165587.cos.ap-nanjing.myqcloud.com/prometheus.tar.gz2、执行脚本3、登录grafana进行导入模板效果图
2021-06-30 11:53:03
379
原创 Prometheus启动命令
usage: prometheus [<flags>]The Prometheus monitoring server 普罗米修斯监控服务器Flags: -h, --help Show context-sensitive help (also try --help-long and --help-man). 显示帮助信息 --version Show application version. 显示
2021-06-29 16:02:04
4152
原创 Prometheus进程管理脚本
restart-prometheus.shcount=$(ps -ef |grep [.]/prometheus|awk '{print $2}'|wc -l)read -p "请选择对prometheus进行的操作 [start|stop|restart] " namecase $name in"start")nohup ./prometheus --config.file=prometheus.yml >> /var/log/prometheus.log 2>&
2021-06-29 15:30:31
479
原创 K8S-概述
文章目录kubernetes是什么？kubernetes是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，促进声明式配置和自动化管理。kubernetes的作用？1、服务发现和负载均衡kubernetes可以使用DNS名称或者在自己的IP地址公开容器，如果进入容器的流浪很大，kubernetes可以负载均衡并分配网络流量，从而使部署稳定。（不需要额外部署nginx进行健康检查和负载均衡，K8S可以进行负载均衡，并且新增加的容器 会自加入进来，不需要传统意义上的修改nginx配置文
2021-06-20 21:47:11
1130
原创 K8S-kubeadm安装
hostnamectl set-hostname masterhostnamectl set-hostname work1hostnamectl set-hostname work2cat >/etc/hosts<<EOF10.0.0.6 master10.0.0.7 work110.0.0.8 work2EOFyum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libsec
2021-06-12 21:12:47
480
原创 yumdownloade保存到本地rpm包
安装yum-utilsyum install yum-utils通过–destdir指定安装位置yumdownloader --resolve(可选，意为下依赖包) --destdir=软件存放位置 (可选) +软件包名举例：yumdownloader --resolve --destdir=jenkins jenkins
2021-06-12 18:58:57
502
原创 docker简介
文章目录docker简介使用场景docker的特点优点：缺点：docker的概念比较容器和虚拟机容器：虚拟机：容器和虚拟机结合一起容器对比虚拟机的优点docker架构docker简介什么是容器？ 标准化的软件单元将软件打包成用于开发、运输和部署的标准化单元容器是一个标准的软件单元，它打包了代码以及所有依赖项，引起应用程序可以从一个计算环境快速可靠地运行到另一个计算环境。dockers容器镜像是一个轻量级、独立、可执行的软件包，其中包含运行应用程序所需的一切：代码、运行时、系统工具、系统库和设置。容
2021-06-06 22:26:13
579
1
alexanderzobnin-zabbix-app.tar.gz
2020-02-25
grafana-piechart-panel-v1.4.0-0-gb707cd5.zip
2020-02-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人