- 博客(41)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 MongoDB（三）
文章目录1. mongodb和python交互1. mongdb和python交互的模块2. 使用pymongo2.1 导入pymongo并选择要操作的集合2.1.1 无需权限认证的方式创建连接对象以及集合操作对象2.1.2 需要权限认证的方式创建连接对象以及集合操作对象2.2 insert()添加数据2.2.1 添加一条数据2.2.2 添加多条数据2.3 find_one()查找一条数据2.4 find()查找全部数据2.5 update()更新数据(全文档覆盖或指定键值，更新一条或多条)2.5.1 更新
2021-12-13 22:17:47
257
1
原创 MongoDB（二）
文章目录1. mongodb的聚合操作1 mongodb的聚合是什么2 mongodb的常用管道和表达式2.1 常用管道命令2.2 常用表达式3 管道命令之`$group`3.1 按照某个字段进行分组3.2 group by null3.3 数据透视3.4 动手4 管道命令之`$match`5 管道命令之`$project`5.1 动手练习6 管道命令之`$sort`7 管道命令之`$skip` 和 `$limit`2. Mongodb的索引操作1. 为什么mongdb需要创建索引2. mongodb创建
2021-12-13 22:16:42
395
原创 MongoDB（一）
文章目录1. Mongodb的介绍和安装1. mongodb的介绍1.1 什么是mongodb1.2 SQL和NoSQL的主要区别1.2.1 数据之间无关联性1.2.2 拓展阅读1.3 mongodb作为非关系型数据库相较于关系型数据库的优势2. mongodb的安装2.1 命令安装2.2 源码安装2.2.1 选择相应版本和操作系统并下载2.2.2 解压2.2.3 移动到/usr/local/目录下2.2.4 在shell的初始化脚本.bashrc中添加mongodb可执行文件到环境变量PATH中3. mo
2021-12-09 21:31:48
269
原创 爬虫（五）
文章目录1. 反爬1. 常见的反爬手段和解决思路1 服务器反爬的原因2 服务器常反什么样的爬虫3 反爬虫领域常见的一些概念4 反爬的三个方向5 常见基于身份识别进行反爬1 通过headers字段来反爬2 通过请求参数来反爬6 常见基于爬虫行为进行反爬1 基于请求频率或总请求数量2 根据爬取行为进行反爬，通常在爬取步骤上做分析7 常见基于数据加密进行反爬1 对响应中含有的数据进行特殊化处理2. 验证码处理1.图片验证码2.图片识别引擎2.1 什么是tesseract2.2 图片识别引擎环境的安装2.3 图片识
2021-12-01 14:29:41
335
原创 爬虫（四）
文章目录1. Selenium1. selenium的介绍1. selenium运行效果展示1.1 chrome浏览器的运行效果1.2 phantomjs无界面浏览器的运行效果1.3 观察运行效果1.4 无头浏览器与有头浏览器的使用场景2. selenium的作用和工作原理3. selenium的安装以及简单使用3.1 在python虚拟环境中安装selenium模块3.2 下载版本符合的webdriver4. selenium的简单使用2. selenium提取数据1. driver对象的常用属性和方法
2021-11-30 10:21:02
89
原创 爬虫（三）
文章目录1. 数据提取概述1. 响应内容的分类2. 认识xml以及和html的区别2.1 认识xml2.2 xml和html的区别2.3 常用数据解析方法2. 数据提取-jsonpath模块1. jsonpath模块的使用场景2. jsonpath模块的使用方法2.1 jsonpath模块的安装2.2 jsonpath模块提取数据的方法2.3 jsonpath语法规则2.4 jsonpath使用示例3. jsonpath练习3. 数据提取-lxml模块1. 了解 lxml模块和xpath语法2. 谷歌浏览
2021-11-29 17:13:38
87
原创 爬虫（二）
文章目录requests模块1. requests模块介绍1.1 requests模块的作用：1.2 requests模块是一个第三方模块，需要在你的python(虚拟)环境中额外安装1.3 requests模块发送get请求2. response响应对象2.1 response.text 和response.content的区别2.2 通过对response.content进行decode，来解决中文乱码2.3 response响应对象的其它常用属性或方法3. requests模块发送请求3.1 发送带h
2021-11-29 16:59:31
58
原创 爬虫（一）
文章目录1. 爬虫概述1. 爬虫的概念2. 爬虫的分类2.1 根据被爬取网站的数量不同，可以分为2.2 根据是否以获取数据为目的，可以分为2.3 根据url地址和对应的页面内容是否改变，数据增量爬虫可以分为3. 爬虫的流程2. http协议复习1. http协议跟爬虫的关系2. http以及https的概念和区别3. 爬虫特别关注的请求头和响应头3.1 特别关注的请求头字段3.2 特别关注的响应头字段4. 常见的响应状态码5. 浏览器的运行过程5.1 http请求的过程5.2 注意1. 爬虫概述1. 爬
2021-11-29 16:42:21
82
原创 实际中遇到的问题——将错误日志发送到邮箱中（1）
需求：当服务器的某一服务出现异常时，需要实时的将错误日志发送到自己的邮箱里。思路：设置定时任务，在设定的时间内每多长时间内执行一次脚本。机器之间时间需要同步在写python脚本时，注意安装python的位置以及使用的版本、导入的包#!/usr/local/bin/python3""" 使用Python脚本去获取想要访问的url的状态码 在import requests时，要注意此时环境里是否有这个模块 如果没有这个模块的话需要自己手动去下载： pip/pip3 install req
2021-11-26 16:43:59
356
原创 13. 正则表达式
文章目录正则表达式1. property属性1.1 property属性的介绍1.2 装饰器方式1.3 类属性方式1.4 小结2. with语句和上下文管理器2.1 with语句的使用2.2 上下文管理器2.3 上下文管理器的另外一种实现方式3. 生成器的创建方式3.1 生成器的介绍3.2 创建生成器的方式3.3 生成器的使用场景3.4 小结4. 深拷贝和浅拷贝4.1 浅拷贝4.2 深拷贝4.3 浅拷贝和深拷贝的区别4.4 总结5. 正则表达式的概述5.1 正则表达式的介绍5.2 正则表达式概念5.3 正则
2021-11-18 16:43:32
107
原创 12. 闭包和装饰器
1. 闭包1. 闭包1.1 闭包的介绍前面已经学过了函数，当函数调用完，函数内定义的变量都销毁了，但是我们有时候需要保存函数内的这个变量，每次在这个变量的基础上完成一些列的操作，比如: 每次在这个变量的基础上和其它数字进行求和计算，那怎么办呢?可以通过闭包来解决这个需求。闭包的定义:在函数嵌套的前提下，内部函数使用了外部函数的变量，并且外部函数返回了内部函数，我们把这个使用外部函数变量的内部函数称为闭包。1.2 闭包的构成条件通过闭包的定义，我们可以得知闭包的形成条件:在函数嵌套(函数里
2021-11-18 14:11:54
166
原创 11. PyMySQL
文章目录PyMySQL的使用1. Python程序操作MySQL数据库1.1 安装pymysql第三方包:1.2 pymysql的使用:1.2.1 导入 pymysql 包1.2.2 创建连接对象1.2.3 获取游标对象1.2.4 pymysql完成数据的查询操作1.2.5 pymysql完成对数据的增删改2. 防止SQL注入1. 什么是SQL注入?2. 防止SQL注入的示例代码:3. 小结3.1 导包3.2 创建连接对象3.3 获取游标对象3.4 执行SQL语句3.5 获取查询结果集3.6将修改操作提交到
2021-11-17 15:07:31
78
原创 HTML+CSS+JavaScript+JQuery
文章目录1. HTML1. html 的介绍1.1 html的定义1.2 html的作用1.3 小结2. html 的基本结构2.1 结构代码2.2 浏览网页文件3. 初始常用的 html 标签3.1 常用的 html 标签3.2 小结4. 资源路径4.1 相对路径4.2 绝对路径4.3 小结5. 列表标签5.1 列表标签的种类5.2 无序列表5.3 有序列表5.4 小结6. 表格标签6.1 表格的结构6.2 表格标签7. 表单标签7.1 表单的介绍7.2 表单相关标签的使用7.3 小结8. 表单提交8.
2021-11-16 15:30:08
1618
原创 10. 网络编程
文章目录1. 网络编程基础1. IP地址的介绍1.1 IP地址的概念1.2 IP 地址的表现形式1.3 IP 地址的作用2. 端口和端口号2.1 什么是端口2.2 什么端口号2.3 端口和端口号的关系2.5 端口号的分类3. TCP的介绍3.1 TCP 的概念3.2 TCP 的特点4. socket的介绍4.1 socket 的概念4.2 socket 的作用4.3 socket 使用场景5. TCP网络应用程序开发流程5.1 TCP 网络应用程序开发流程的介绍5.2 TCP 客户端程序开发流程的介绍5.3
2021-11-16 12:56:36
1762
原创 9. 进程和线程
1. 进程1. 进程并发：在一段时间内交替的去执行任务对于单个CPU处理多任务，操作系统会轮流让各个软件交替的执行。并行：对于多核的CPU处理多任务，操作系统会给CPU每个内核安排一个执行的软件，多个内核是真正的一起执行软件。这里需要注意的是多核的CPU是并行的执行任务，始终有多个软件一起执行。1.1 进程的概念一个正在运行的程序或者软件就是一个进程，他（进程）是操作系统进行资源分配的基本单位，也就是说每启动一个进程，操作系统都会给其分配一定的运行资源（内存资源）保证进程的运行
2021-11-15 14:33:11
342
原创 8. 模块_包_异常
文章目录1. 异常1. 了解异常2. 异常的写法2.1 语法2.2 快速体验2.3 捕获指定异常2.3.1 语法2.3.2 体验2.3.3 捕获多个指定异常2.3.4 捕获异常描述信息2.3.5 捕获所有异常2.4 异常的else2.5 异常的finally3. 异常的传递4. 自定义异常5. 总结2. 模块1. 模块1.1 导入模块1.1.1 导入模块的方式1.1.2 导入方式详解1.1.2.1 import1.1.2.2 from..import..1.1.2.3 from .. import *1.1
2021-11-12 15:14:51
94
原创 7. 面向对象
文章目录1. 面向对象基础1. 理解面向对象2. 类和对象2.1 理解类和对象2.1.1 类2.1.2 对象2.2 面向对象实现方法2.2.1 定义类2.2.2 创建对象2.2.3 self3. 添加和获取对象属性3.1 类外面添加对象属性3.2 类外面获取对象属性3.3 类里面获取对象属性4. 魔法方法4.1 `__init__()`4.1.1 体验`__init__()`4.1.2 带参数的`__init__()`4.2 `__str__()`4.3 `__del__()`5. 综合应用5.1 烤地
2021-11-12 14:41:11
260
原创 6. 文件操作
1. 文件操作1. 文件操作的作用思考：什么是文件？思考：文件操作包含什么？答：打开、关闭、读、写、复制…思考：文件操作的的作用是什么？答：读取内容、写入内容、备份内容…总结：文件操作的作用就是把一些内容(数据)存储存放起来，可以让程序下一次执行的时候直接使用，而不必重新制作一份，省时省力。2. 文件的基本操作2.1 文件操作步骤打开文件读写等操作关闭文件注意：可以只打开和关闭文件，不进行任何读写操作。2.1.1 打开在python，使用open函数，可以打开一
2021-11-11 09:43:52
89
原创 5. 函数
1. 函数基础阶段1. 函数的作用需求：用户到ATM机取钱：输入密码后显示"选择功能"界面查询余额后显示"选择功能"界面取2000钱后显示"选择功能"界面特点：显示“选择功能”界面需要重复输出给用户，怎么实现？函数就是将一段具有独立功能的代码块 整合到一个整体并命名，在需要的位置调用这个名称即可完成对应的需求。函数在开发过程中，可以更高效的实现：代码重用。2. 函数的使用步骤2.1 定义函数def 函数名(参数): 代码1 代码2 ......
2021-11-11 09:41:53
270
原创 4. 数据类型
文章目录1. 字符串1. 字符串1.1 字符串特征1.2 字符串输出1.3 字符串输入2. 下标2.1 快速体验3. 切片3.1 语法3.2 体验4. 常用操作方法4.1 查找4.2 修改4.3 判断5. 总结2. 列表1. 列表的应用场景2. 列表的格式3. 列表的常用操作3.1 查找3.1.1 下标3.1.2 函数3.1.3 判断是否存在3.2 增加3.3 删除3.3.1 删除语法3.3.2 快速体验3.4 修改3.5 复制4. 列表的循环遍历4.1 while4.2 for5. 列表嵌套3. 元组1.
2021-11-11 09:39:54
284
原创 3. 流程控制之循环
文章目录1. 循环简介1.1 循环的作用1.2 循环的分类2. while的语法2.1 快速体验3. while的应用3.1 应用一：计算1-100累加和3.2 应用二：计算1-100偶数累加和3.2.1 方法一：条件判断和2取余数则累加3.2.2 方法二：计数器控制4. break和continue4.1 理解4.1.1 情况一：break4.1.2 情况二：continue5. while循环嵌套5.1 应用场景5.2 语法5.3 快速体验：复现场景5.3.1 代码5.3.2 执行结果5.3.3 理解执
2021-11-11 09:38:24
292
原创 2. 流程控制之条件语句
1. if 语法1.1 语法if 条件: 条件成立执行的代码1 条件成立执行的代码2 ......1.2 快速体验if True: print('条件成立执行的代码1') print('条件成立执行的代码2')# 下方的代码没有缩进到if语句块，所以和if条件无关print('我是无论条件是否成立都要执行的代码')2. 实例需求分析：如果用户年龄大于等于18岁，即成年，输出"已经成年，可以上网"。2.1 简单版age = 20if age
2021-11-11 09:36:42
259
原创 1. Python基础入门
1. 注释在python中存在两种注释方法，一种是单行注释，另外一种是多行注释# 单行注释# 6个单引号 6个双引号都是多行注释""" 第一行注释 第二行注释 第三行注释"""''' 注释1 注释2 注释3'''快捷键： ==ctrl + /==注释的作用用人类熟悉的语言对代码进行解释说明，方便后期维护。注释的分类单行： # 注释内容，快捷键ctrl+/多行：""" 注释内容 """ 或 ''' 注释内容 '''解释器不执行注释内容2. 变量
2021-11-11 09:35:17
80
原创 Ansible的安装部署及相关模块使用
1 ansible的介绍http://www.ansible.com.cn/ ansible中文手册1. 简介ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。2. 特性no agent: 不需要在被管控主机上安装任何软件,no server: 无服务器端,使用时直接运行命令即可,modules in any languages：基于
2021-09-21 12:33:10
403
1
原创 saltstack的安装部署及使用
1. saltstack1. 简介Saltstack 比 Puppet 出来晚几年，是基于Python 开发的，也是基于 C/S 架构，服务端 master 和客户端 minions ；Saltstack 和 Puppet 很像，可以说 Saltstatck 整合了 Puppet 和 Chef 的功能，更加强大，更适合大规模批量管理服务器，并且它比 Puppet 更容易配置。三大功能：远程命令执行配置管理（服务，文件，cron，用户，组）云管理。支持系统：大多数都支持，windows 上不
2021-09-20 16:21:53
769
原创 docker-compose（五）
1. docker-compose文章目录1. docker-compose1. 基础2. yaml语法https://docs.docker.com/compose/install/场景： 一个复杂的应用，不是启动一个容器就能完成的 app = nginx + web + mysql +redis 以后只要启动app，创建app。都得run 4个，保证网络畅通+挂载ok docker-compose 可以写一个yaml文件。指定所有需要启动的内容。docker-compose u
2021-09-18 14:50:23
94
原创 深入了解Dockerfile（四）
1. 深入了解Dockerfile文章目录1. 深入了解Dockerfile1. FROM2. LABEL3. RUN4. CMD和ENTRYPOINT1. 都可以作为容器启动入口2. 只能有一个CMD3. CMD为ENTRYPOINT提供默认参数4. 组合最终效果5. docker run启动参数会覆盖CMD内容5. ARG和ENV1. ARG2. ENV3. 综合测试示例6. ADD和COPY1. COPY2. ADD7. WORKDIR和VOLUME1. WORKDIR2. VOLUME8. USE
2021-09-18 14:36:21
175
原创 Docker网络和存储原理（三）
Docker网络和存储原理文章目录Docker网络和存储原理1. Docker存储1. 镜像如何存储1. **Images and layers**2. Container and layers3. 磁盘容量预估4. 镜像如何挑选5. Copy On Write2. 容器如何挂载1. volume(卷)2. bind mount3. 管理卷4. docker cp2. Docker网络1. 端口映射2. 容器互联3. 自定义网络1. 默认网络原理2. 网络模式3. 自建网络测试docker装的和宿主机的
2021-09-18 11:06:19
228
原创 Docker常见命令及使用（二）
Docker常见命令及使用文章目录Docker常见命令及使用1. 常见命令2. 具体命令流程3. 典型命令1. 常见命令所有Docker命令手册跳转地址https://docs.docker.com/engine/reference/commandline/docker/命令作用attach绑定到运行中容器的 标准输入, 输出,以及错误流（这样似乎也能进入容器内容，但是一定小心，他们操作的就是控制台，控制台的退出命令会生效，比如redis,nginx…）build从一
2021-09-17 11:05:37
184
原创 Docker基本概念及快速搭建（一）
Docker首先 Docker 是一个在 2013年开源的应用程序并且是一个基于 go 语言编写是 一个开源的 PAAS 服务(Platform as a Service，平台即服务的缩写)，go 语言是 由 google 开发，docker 公司最早叫 dotCloud 后由于 Docker 开源后大受欢迎 就将公司改名为 Docker Inc，总部位于美国加州的旧金山，Docker 是基于 linux内核实现，Docker 最早采用 LXC 技术(LinuX Container 的简写，LXC 是 L
2021-09-17 10:05:42
292
原创 Zabbix的基本概述及快速搭建（一）
1. Zabbix1. Zabbix概述Zabbix 是由 Alexei Vladishev 创建，目前是由 Zabbix SIA 在持续开发和提供支持。Zabbix 是一种企业级的分布式开源监控解决方案。Zabbix 是一款能够监控众多网络参数和服务器的健康度和完整性的软件。Zabbix 使用灵活的通知机制，允许用户为几乎任何事件配置基于邮件的警报。这样可以快速相应服务器问题。Zabbix 基于存储的数据提供出色的报告和数据可视化。这些功能使得 Zabbix 成为容量规划的理想选择。Zabbix
2021-09-15 15:26:05
536
2
原创 sudo（六）
文章目录1. 简介2. sudo提权1. 给普通用户提升权限的手段2. 使用sudo提升普通用户的权限/etc/sudoers3. sudo语法1. 按用户设置2. 按组设置3. 测试修改密码4. User Aliases1. 练习1. 简介一般使用者管理系统的方式是利用su切换为超级使用者。但是使用su的缺点之一在于必须要先告知超级使用者的密码.sudo使一般使用者不需要知道超级使用者的密码即可获得权限。首先超级使用者将一般使用者登记在特殊的档案中（通常是/etc/sudoers），即完成对该使用者的
2021-09-15 10:36:41
945
原创 Man in the MiddleAttack(中间人攻击)（四）
文章目录1. 窃听2. 加密（解决数据机密性）3. 实验3. 篡改4. 伪装5. 部署私有CA实现https网站1. 部署CA2. 配置web服务器申请证书，实现https网站3. 配置https网站6. 测试访问1. 窃听A<-------------------------------->B|C窃听 ( 加密,数据机密性)2. 加密（解决数据机密性）加密由2部分组成：算法&密钥 （算法要够复杂，密钥要够安全）对称加密:(Symmetric encryption)采
2021-09-13 21:22:57
217
原创 iptables防火墙（三）
3. iptables防火墙文章目录3. iptables防火墙1. iptables简介2. iptables 基础部分1. 语法2. 表及应用顺序3. 常见的操作命令1. 基本匹配2. 基本动作 Target3. 查询4. 根据IP地址5. 练习16. 练习27. 练习34. 自定义链1. 问题3. iptables 高级部分1. 扩展匹配 MATCH EXTENSIONS1. 查帮助的方法2. state 基于链接状态1. 开启日志记录INPUT四种状态2. 开启日志记录OUTPUT四种状态1. I
2021-09-13 20:59:41
126
原创 TCP/IP及抓包工具的使用（二）
2. TCP/IP协议文章目录2. TCP/IP协议1. 什么是OSI参考模型1. osi7层模型和tcp/ip(4层、5层)对照2. 什么是tcp/ip参考模型1.应用层（数据：协议数据单元）2.传输层 （ 数据：数据段）3.网络层 （数据：数据包）4.数据链路层 （数据：数据帧） 物理层（数据：比特流）3. OSI参考模型和TCP/IP参考模型的比较4. 抓包命令的使用1. 三种类型1. 第一种类型关键字2. 第二种是确定传输方向的关键字3. 第三种是协议的关键字2. 练习5.各层简述与协议的概述1.
2021-09-13 20:32:11
544
原创 IP地址及路由转发（一）
1. IP地址1. ip地址组成 IP地址由4部分数字组成，每部分数字对应于8位二进制数字，各部分之间用小数点分开 这是点分2进制 .每如果换算为10进制我们称为点分10进制个ip地址由两部分组成网络地址(NetID)和主机地址(HostID).网络地址表示其属于互联网中的哪一个网络，而主机地址则表示其属于该网络中的哪一台主机.2. ip地址的划分ip地址划分为五类 为 A,B,C,D,E如下图1. A类地址范围从0-127，0是保留的并且表示所有IP地址，而127也是保留的地址，并
2021-09-13 20:14:43
2717
原创 PXE+KICKSTART
1. PXE+KICKSTART文章目录1. PXE+KICKSTART1. KICKSTART简介1.1 什么是KICKSTART1.2 什么是PXE1.3 工作原理图1.4 实验步骤1. 实验环境2. PXE+KICKSTART批量部署1. 安装dhcp并配置信息2. 搭建tftp服务器3. 拷贝配置文件信息4. 修改配置文件5. 拷贝内核和初始化文件6. 配置httpd7. 创建ks文件8. 运行并测试9. 实验中需要注意的问题2. 注意事项2.cobbler1. cobbler简介2. 工作原理3
2021-09-08 15:51:14
239
原创 Shell-基础部分
1. Shell脚本介绍文章目录1. Shell脚本介绍1. Shell脚本1. 什么是Shell2. shell作用详析3. 常用的shell类型4. shell脚本格式2. shell和shell脚本的区别3. 交互式shell和非交互式shell4. 运行shell脚本的两种方法1. 作为可执行的程序2. 作为解释器参数5. 查询指令是否为内建命令2. shell脚本常用的命令1. 常用命令1. cat,head,tail命令2. find命令3. 计划任务crond和crontab4. &
2021-09-08 15:37:02
16619
原创 MySQL-基础部分
数据库文章目录数据库1. MySQL数据库介绍2.MySQL数据库的安装1. 安装MySQL2. 编译安装MySQL3. MySQL架构4. SQL语句1. 类型2. DDL数据库定义语句1. 三种sql_mode模式2. 字符串类型3. 日期时间类型1. date类型2. time类型3. year类型4. datetime和timestamp类型3. ENUM和SET类型4. 修饰符(约束)5. 索引建立6. PRIMARY KEY7. 全文本索引3.DML 数据库操作语句1. 三种操作1. inse
2021-09-08 15:31:32
1397
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人