- 博客(253)
- 收藏
- 关注
RSS订阅原创 Python爬虫(二)--http基本原理（Python Crawler (2) Basic Principles of HTTP）
HTTP协议的原理涉及客户端与服务器之间的通信过程，主要通过请求和响应机制实现。HTTP是一个应用层协议，基于B/S架构，通常承载于TCP协议之上，并可以加密传输（通过HTTPS）本章详细介绍http基本原理.
2024-10-06 00:15:00
948
原创 Python 爬虫（六）使用数据库储存数据（Python Crawler (6) Uses Databases to Store Data）
在实际的爬虫项目中，我们通常需要处理大量的数据。将这些数据保存在内存中或者直接写入文件可能会面临诸如数据丢失、查询效率低下等问题。这时，使用数据库就成为了一个更好的选择。数据库不仅可以安全地存储大量数据，还提供了高效的查询和管理功能 本文将介绍三种常用的数据库：关系型数据库MySQL，以及非关系型数据库Redis和MongoDB。我们将详细讲解如何在Python爬虫中使用这些数据库，并通过实例来展示它们各自的特点和适用场景
2024-10-06 00:15:00
560
原创 Python爬虫（五）--爬虫库的使用（Python Crawler (5) - Use of Crawler Libraries）
Python爬虫库是一系列用于网络爬虫开发的Python库和工具，它们帮助开发者从网站上提取、收集和处理数据。这些库和工具涵盖了从网络请求、网页解析、数据存储到反爬虫策略等多个方面，为爬虫开发提供了全面的支持。本章详细介绍python爬虫库的分类。
2024-10-05 00:15:00
574
原创 k8s之pod详解（K8s Pod Detailed Explanation ）
Pod 是 k8s中最小的资源管理组件，Pod 也是最小化运行容器化应用的资源对象。一个 Pod 代表着集群中运行的一个进程。kubernetes 中其他大多数组件都是围绕着 Pod 来进行支撑和扩展 Pod 功能的，例如用于管理 Pod 运行的 StatefulSet 和 Deployment 等控制器对象，用于暴露 Pod 应用的 Service 和 Ingress 对象，为 Pod 提供存储的 PersistentVolume 存储资源对象等.本章详细介绍pod.
2024-10-05 00:15:00
573
原创 计算机科学英语词汇汇总（上）（Computer Science English Complete Vocabulary）
计算机科学，研究计算机及其周围各种现象和规律的科学，亦即研究计算机系统结构、程序系统（即软件）、人工智能以及计算本身的性质和问题的学科。计算机科学是一门包含各种各样与计算和信息处理相关主题的系统学科，从抽象的算法分析、形式化语法等等，到更具体的主题如编程语言、程序设计、软件和硬件等。计算机科学分为理论计算机科学和实验计算机科学两个部分。后者常称为“计算机科学”而不冠以“实验”二字。前者有其他名称，如计算理论、计算机理论、计算机科学基础、计算机科学数学基础等。本章详细介绍计算机科学的常用英语。
2024-10-04 00:15:00
929
原创 计算机科学英语词汇汇总（下）Computer Science English Complete Vocabulary )
计算机科学，研究计算机及其周围各种现象和规律的科学，亦即研究计算机系统结构、程序系统（即软件）、人工智能以及计算本身的性质和问题的学科。计算机科学是一门包含各种各样与计算和信息处理相关主题的系统学科，从抽象的算法分析、形式化语法等等，到更具体的主题如编程语言、程序设计、软件和硬件等。计算机科学分为理论计算机科学和实验计算机科学两个部分。后者常称为“计算机科学”而不冠以“实验”二字。前者有其他名称，如计算理论、计算机理论、计算机科学基础、计算机科学数学基础等。本章主要分享计算机科学的主要英语。
2024-10-04 00:15:00
1063
1
原创 Ansible Playbook原理与实践（Principles and Practice of Ansible Playbook）
Ansible Playbook 是 Ansible 的核心组件之一，它允许用户以 YAML 格式编写配置文件，用于描述希望远程系统执行的一系列任务。Playbook 提供了一种方式来编排和执行这些任务，确保配置的一致性，或者简单地执行一些常见的任务。Playbook 的使用使得 Ansible 成为一个强大的配置管理工具，尤其适用于需要跨多个系统执行多个操作的情况。本章详细介绍Ansible Playbook原理与实践。
2024-10-03 00:15:00
966
原创 K8s域名解析方案CoreDNS(K8s Domain Name Resolution Solution CoreDNS)
CoreDNS 是一个灵活可扩展的 DNS 服务器，可以作为 Kubernetes 集群 DNS。与 Kubernetes 一样，CoreDNS 项目由 CNCF 托管。借助CoreDNS 服务器，可以将 Kubernetes 服务名称解析为相应的 IP 地址。支持正向查找（A 和 AAAA 记录）、端口发现（SRV 记录）、反向 IP 地址发现（PTR 记录）等。通过替换现有集群部署中的 kube-dns，或者使用 kubeadm 等工具来为你部署和升级集群，可以在你的集群中使用 CoreDNS
2024-10-03 00:15:00
1487
原创 Python 爬虫（八）常见爬虫库及相关工具（Python Crawler (8):Common Crawler Libraries and Related Tools）
选择合适的工具对于提高爬虫效率和应对各种复杂情况至关重要。本文将介绍从爬虫框架到数据处理工具，再到反爬虫处理的各类库，帮助你构建一个强大而灵活的爬虫系统。无论你是爬虫新手还是有经验的开发者，相信都能在这里找到有用的信息，帮助你更好地进行网络数据采集工作。
2024-10-02 00:15:00
865
原创 Python 爬虫（九）应对反爬虫策略（Python Crawler 9 Coping with Anti Crawler Strategies）
本文将深入探讨各种反爬虫技术,并提供相应的Python实战技巧和策略。无论你是爬虫新手还是有经验的开发者,都能从中学到有用的知识 我们将详细讨论如何伪造User-Agent、应对302重定向、使用代理IP、管理Cookies和Session等技术,以及如何处理动态内容、解密数据等更复杂的情况。同时,我们也会探讨爬虫开发中的法律和道德问题,确保我们的行为既合法又合规。
2024-10-02 00:15:00
1854
原创 如何进行缺陷管理(How to Cnduct Defect Management)
缺陷管理/软件缺陷管理（Defect Management）是在软件生命周期中识别、管理、沟通任何缺陷的过程（从缺陷的识别到缺陷的解决关闭），确保缺陷被跟踪管理而不丢失。一般的，需要跟踪管理工具来帮助进行缺陷全流程管理。本章详细介绍如何进行缺陷（Bug）管理。
2024-10-01 00:15:00
634
原创 Python 爬虫（七）Scrapy之并发与分布式（Scrapy of Concurrency and Distributed）
并发爬取和分布式爬取是提升爬虫效率的两大关键技术。并发爬取允许我们同时发出多个请求，大幅提高爬取速度；分布式爬取则让我们能够将爬取任务分散到多个机器上执行，从而处理大规模数据的抓取任务。本章详细介绍并发爬取和分布式爬取。
2024-10-01 00:15:00
723
原创 Linux之ssh和scp(SSH and SCP in Linux)
SSH（Secure Shell）是一种网络协议，用于在两个网络设备之间建立加密的、安全的连接。它被广泛用于远程管理、文件传输、VPN（Virtual Private Network）和数据存储等领域。
2024-09-30 00:15:00
724
原创 Tomcat 调优技巧(Tomcat Tuning Tips)
Tomcat是Apache软件基金会项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。由于有了Sun 的参与和支持，最新的Servlet 和JSP规范总是能在Tomcat 中得到体现，Tomcat 5支持最新的Servlet 2.4 和JSP 2.0 规范。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java爱好者的喜爱并得到了部分软件开发商的认可，成为比较流行的Web 应用服务器。本章详细介绍Tomcat的性能调优。
2024-09-30 00:15:00
729
原创 Prometheus Pushgateway 详解(Prometheus Pushgate Detailed Explanation)
Pushgateway为Prometheus整体监控方案的功能组件之一，并做为一个独立的工具存在。它主要用于Prometheus无法直接拿到监控指标的场景，如监控源位于防火墙之后，Prometheus无法穿透防火墙；目标服务没有可抓取监控数据的端点等多种情况。在类似场景中，可通过部署Pushgateway的方式解决问题。当部署该组件后，监控源通过主动发送监控数据到Pushgateway，再由Prometheus定时获取信息，实现资源的状态监控。,本章详细介绍Prometheus Pushgateway 。
2024-09-29 00:15:00
880
原创 K8s日志收集--fluentd事件流的生命周期(K8s Log Collection--The Lifecycle of Fluentd Event Flow)
Fluentd 是一个开源的数据收集器，致力于为用户搭建统一的日志收集层，它可以让你统一日志的收集和消费，以便更好地使用和理解日志，统一的日志记录层可让你和你的团队更好地利用数据并更快地迭代你的应用。本章详细介绍使用fluentd实现业务应用日志的收
2024-09-29 00:15:00
883
原创 自动化运维之Jenkins 与 Git 实战（二）（Jenkins and Git Practice in Automated Operations and Maintenance Part 2）
Maven 是一个软件项目管理及自动构建工具，由 Apache 软件基金会所提供。基于项目对象模型（缩写：POM）概念，Maven 利用一个中央信息片断来管理一个项目的构建、报告和文档等步骤。Docker 是一个开源的容器应用引擎，让开发者可以打包他们的应用及依赖包到任意一个可移植的镜像中在前面的 Jenkins 课程中，更多强调的是 Jenkins 使用和项目部署，而本章将结合新项目来实现自动化构建及发布，并将项目打包成镜像上传到私有仓库，来实现一键发布、回滚等操作。
2024-09-28 00:15:00
722
原创 云 安 全 （Cloud Security）
云安全与等保2.0是网络安全领域中的两个重要概念，它们分别关注不同的方面但共同构成了现代网络安全的多层次防御体系。云安全主要关注云计算环境下的安全问题和解决方案。随着云计算的普及，数据和应用程序越来越多地迁移到云端，云安全成为了保护这些资源和数据的关键。等保2.0即网络安全保护等级的基本要求的第二代标准，是对中国信息安全领域中信息系统安全保护工作的全面升级。本章将详细介绍云等保和等保2.0.
2024-09-28 00:15:00
648
原创 大觅网之自动化部署（Automated Deployment of Da Mi Network）
某公司最近开发了一套大型票务类电商网站，被命名为大觅网。大觅网主要功能包括：商品搜索、用户注册登录、商品详情、选座、下单等功能。大觅网的整个部署过程会用到云计算的相关知识，包括 OpenStack 的多节点部署、OpenStack 网络路由创建和云主机创建；也会用到 Docker 容器的相关知识，包括Dockerfile 制作镜像、Docker Compose 多容器关联制作等；还会用到 Jenkins 自动构建发布大觅网项目。本章详细介绍大觅网自动化部署。
2024-09-27 00:15:00
640
原创 人工智能之神经网络(What is a Neural Network)
神经网络(Artificial Neural Networks)：人工神经网络的简称，是一种应用类似于大脑神经突触连接的结构或网络，进行信息处理的数学模型。神经网络其实是一个非常宽泛的称呼，它包括两类，一类是用计算机的方式去模拟人脑，这就是我们常说的人工神经网络，另一类是研究生物学上的神经网络，又叫生物神经网络。本章详细介绍人工智能神经网络。
2024-09-27 00:15:00
420
原创 大觅网之业务部署（Business deployment of Da Mi Network）
大觅网为用户提供了通过 Web 界面购票的服务，主要功能包括：商品搜索、用户注册登录、商品详情、选座、下单等功能。大觅网的整个部署过程会用到云计算的相关知识，包括 OpenStack 的多节点部署、OpenStack 网络路由创建和云主机创建；也会用到 Docker 容器的相关知识，包括Dockerfile 制作镜像、Docker Compose 多容器关联制作等；还会用到 Jenkins 自动构建发布大觅网项目。整个项目采用多知识相结合，共同协调配合来完成部署。本章详细介绍大觅网的业务部署。
2024-09-26 00:15:00
1174
原创 大觅网之综合管理（Comprehensive Management of Da Mi Network）
大觅网的整个部署过程会用到云计算的相关知识，包括 OpenStack 的多节点部署、OpenStack 网络路由创建和云主机创建；也会用到 Docker 容器的相关知识，包括Dockerfile 制作镜像、Docker Compose 多容器关联制作等；还会用到 Jenkins 自动构建发布大觅网项目。整个项目采用多知识相结合，共同协调配合来完成部署。本案例主要介绍将大觅网部署到 Kubernetes 上。
2024-09-26 00:15:00
1044
原创 线性插值和最近邻插值（Linear Interpolation and Nearest Neighbor Interpolation）
本文介绍了图像处理中的两种插值方法——线性插值和最近邻插值。线性插值通过连接两点的直线来估算新像素值，而最近邻插值则简单地采用最近像素点的值。这两种方法在图像放大时，会影响图像质量，线性插值可能导致边缘模糊，最近邻插值则会产生明显的锯齿效果。
2024-09-25 00:15:00
653
原创 编程四大语言对比（Comparison of the Four Major Programming Languages）
随着科技的快速发展,软件开发行业迅速火起来，无论是人工智能还是大数据分析，都是需要用到编程来实现相应的功能。编程的广泛被利用，提升了编程的价值,现在无论是成人还是小孩都开始学习编程。我们应该怎样去学习编程?编程狮在给您介绍几个流行的热门编程语言的对比，相信你就会明了，有目标了。
2024-09-25 00:15:00
1283
原创 人工智能面试题（Artificial Intelligence Algorithm Interview Questions）
过拟合是指模型对于训练数据拟合呈过当的情况，反映到评估指标上，就是模型在训练集上的表现好，但是在测试集和新数据上的表现较差。欠拟合指的是模型在训练和预测时表现都不好。用模型在数据上的偏差和方差指标来表示就是。欠拟合时候，偏差和方差都比较大，而过拟合时，偏差较小但方差较大。
2024-09-24 00:15:00
425
原创 刻意练习--成为领域专家的秘诀(Deliberate Practice - The Secret to Becoming a Domain Expert)
刻意练习是成为领域专家的秘诀。刻意练习是一种有目的、有计划、带反馈的高效训练方式，它通过设定具体、可量化的目标，全神贯注地进行练习，并及时获得反馈，不断改进，逐步提高。这种练习方法的核心在于专项技能的大量重复训练，而非简单的自动化重复。通过将技能分解为更小的模块，然后针对每个模块进行有针对性的练习，可以帮助我们更深入地理解技能的内在逻辑，从而实现质的飞跃。
2024-09-24 00:15:00
817
原创 Linux网络配置(Linux Network Configuration）
在 Linux 操作系统中，相当一部分网络服务都会通过主机名来识别主机，如果主机名配置不当，可能会导致程序功能出现故障，本章详细介绍网络配置方法。
2024-09-23 00:15:00
1411
原创 Web 安全（Web Security）
Web安全主要指的是保护Web应用程序免受恶意攻击和数据泄露的措施，因为它对于保护用户数据和系统安全至关重要。Web应用程序经常成为攻击目标，因此采取适当的安全措施至关重要。这些措施包括但不限于防止跨站脚本攻击(XSS)、跨站请求伪造(CSRF)等常见的网络攻击。此外，使用安全扫描软件进行定期的安全检查也是维护Web安全的重要手段之一。本章详细介绍web安全以及常见的安全防护。
2024-09-23 00:15:00
1375
原创 计算机基础(Computer Fundamentals)
计算机是一种用于高速计算的现代化智能电子设备，可以进行数值计算和逻辑计算，并具有存储记忆功能。它由硬件系统和软件系统组成，能够按照程序运行，自动、高速处理海量数据。计算机的发明和应用对人类的生产活动和社会活动产生了极其重要的影响，形成了规模巨大的计算机产业，带动了全球范围的技术进步，本章详细介绍计算机。
2024-09-22 00:15:00
848
原创 人工智能之就业方向（The Employment Direction of Artificial Intelligence）
人工智能（Artificial Intelligence），英文缩写为AI。 [21]是新一轮科技革命和产业变革的重要驱动力量， [23]是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。本章详细介绍人工智能就业方向及前景。
2024-09-22 00:15:00
860
原创 大觅网之环境部署（Environment Deployment of Da Mi Network）
大觅网为用户提供了通过 Web 界面购票的服务，主要功能包括：商品搜索、用户注册登录、商品详情、选座、下单等功能。大觅网的整个部署过程会用到云计算的相关知识，包括 OpenStack 的多节点部署、OpenStack 网络路由创建和云主机创建；也会用到 Docker 容器的相关知识，包括Dockerfile 制作镜像、Docker Compose 多容器关联制作等；还会用到 Jenkins 自动构建发布大觅网项目。 本章将详细介绍大觅网的基础环境部署。
2024-09-21 00:15:00
974
原创 运维开发之堡垒机（Fortress Machine for Operation and Development）
堡垒机是一种网络安全设备，用于在信息系统中建立安全防线，保护内部网络不受外部威胁。 它也被称为“跳板机”或“跳板服务器”，主要用于控制网络设备的远程登录和操作，通过切断终端计算机对网络和服务器资源的直接访问，采用协议代理的方式接管终端计算机对网络和服务器的访问。堡垒机的主要功能包括访问控制、账号管理、资源授权和安全审计，通过这些功能，堡垒机能够监控和记录运维人员对网络内的服务器、网络设备、安全设备、数据库等设备的操作行为，以便集中报警、及时处理及审计定责。本章详细介绍堡垒机的部署。
2024-09-21 00:15:00
627
原创 kubernetes存储之GlusterFS（GlusterFS for Kubernetes Storage）
glusterfs是一个开源的、可扩展的分布式文件系统，集成来自多台服务器上的磁盘存储资源到单一全局命名空间，以提供共享文件存储。设计用于大型、分布式的应用，能够处理对大量数据的访问。 它运行在廉价的普通硬件上，提供了高可用性和容错功能，确保了系统的稳定性和数据的可靠性。GFS由存储服务器、客户端以及NFS/Samba存储网关组成，没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。本章详细介绍在kubernetes上部署GlusterFS。
2024-09-20 00:15:00
739
原创 服务器自动巡检（Server automatic inspection）
大公司在管理服务器过程中经常有这么一个需求，统计这些服务器基本信息，例如 CPU几核的，内存多少 G、磁盘多大的等等，然后参考统计的结果做好资源规划，百十来台服务器的信息。如果一台台服务器登录，查看获取信息，显然效率很低。这就需要编写一个服务器自动巡检工具来实现服务器自动化巡检。本章详细介绍如何使用工具 Python 脚本来实现自动化巡检。
2024-09-20 00:15:00
813
原创 Zabbix企业分布式监控（Zabbix Enterprise Distributed Monitoring）
13.全特性、agent易扩展。8.初始化zabbix数据库。15.具备应对负责环境情况。三、Zabbix进程构成。10.快速的web接口。一、Zabbix介绍。二、Zabbix特性。5.扩展的图形化显示。14.二进制守护进程。
2024-09-19 00:15:00
597
原创 Python 之数据库操作（Python Database Operations）
MySQL 采用标准的 SQL 语言（结构化查询语言），SQL 是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。虽然 Python 可以支持数据的本地存储，但前提是先从数据库获取才能保存下来，同时还无法存储过多的数据，因为数据释放和使用会占用较大的内存，数据库负责把磁盘数据组织好放回内存, Python 负责在内存中操作数据。本章详细介绍Python数据库操作。
2024-09-19 00:15:00
1460
原创 使用zabbix监控oracle表空间---超详细（Monitoring Oracle Table Spaces with Zabbix - Ultra Detailed）
Zabbix 是一个企业级的分布式开源监控，Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制，允许用户为几乎任何事件配置基于邮件的告警。这样可以快速反馈服务器的问题。基于已存储的数据，Zabbix提供了出色的报告和数据可视化功能。这些功能使得Zabbix成为容量规划的理想方案。Zabbix支持主动轮询和被动捕获。Zabbix所有的报告、统计信息和配置参数都可以通过基于Web的前端页面进行访问。本章详细介绍zabbix监控oracle表空间。
2024-09-18 00:15:00
780
原创 squid代理及常见的代理上网(Squid Proxy and Common Proxy Internet Access)
Squid Cache（简称为Squid）是HTTP代理服务器软件。Squid用途广泛，可以作为缓存服务器，可以过滤流量帮助网络安全，也可以作为代理服务器链中的一环，向上级代理转发数据或直接连接互联网。Squid程序在Unix一类系统运行。由于它是开源软件，有网站修改Squid的源代码，编译为原生Windows版[2]；用户也可在Windows里安装Cygwin，然后在Cygwin里编译Squid。本章详细介绍使用squid代理及常见的代理上网。
2024-09-18 00:15:00
1745
原创 代码管理系统简介与部署（Introduction and Deployment of Code Management System）
Git 是一个开源的分布式版本控制系统，用于有效、高速的处理版本控制，从很小到非常大的项目都支持。一个原始 Git 版本仓库，可以让其他主机克隆这个原始版本仓库，从而使得一个 Git 版本仓库可以同时分布到不同的主机上，并且每台主机的版本库都是一样的，并没有主次之分，极大的保证了数据的安全性，并使得用户能够自主选择 Git 服务器推送文件。作为一个分布式的版本控制系统，在 Git 中并不存在主库这样的概念。每一份复制出的库都可以独立使用，任何两个库之间的不一致之处都可以进行合并。本章详细介绍git
2024-09-17 00:15:00
1603
原创 Git+Jenkins 实战(一)(Practical Use of Git+Jenkins Part 1)
目前主流网站部署方法：通过 Jenkins 工具实现全自动部署+测试，Jenkins 是一个可扩展的持续集成引擎，属于开源软件项目，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。Jenkins 非常易于安装和配置，简单易用。本章详细介绍如何利用 Jenkins 自动化部署 Tomcat 应用和 PHP 应用。
2024-09-17 00:15:00
1067
最实用的Hadoop安装方法
2024-07-12
LVS+Keepalived+NFS集群
2024-06-24
redis数据库集群部署
2024-06-24
EFK 不是一个软件，而是一套解决方案 EFK 是三个开源软件的缩写，Elasticsearch，FileBeat，Kibana
2024-06-19
ELK是包含但不限于Elasticsearch（简称es）、Logstash、Kibana 三个开源软件的组成的一个整体
2024-06-19
Linux内核优化是指通过调整内核的参数和设置，提高Linux系统的性能和效率
2024-06-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人