- 博客(14)
- 收藏
- 关注
RSS订阅原创 Appium环境搭建
Appium环境搭建基本步骤:1.安装Node.js2.安装JDK，及配置环境变量3.安装SDK，及配置环境变量4.安装Appium桌面版本安装Node.jsJDK安装及环境变量配置SDK安装安装Appium基本步骤:1.安装Node.js2.安装JDK，及配置环境变量3.安装SDK，及配置环境变量4.安装Appium桌面版本以上涉及安装的软件，基本都是国外的，所以网站下载巨慢，建议直接从我百度网盘下，链接:https://pan.baidu.com/s/1kQ5S3pTqvmzF7TnGIhm
2020-10-31 09:28:23
566
原创 深入理解Redis的持久化机制和原理
一、Redis持久化是如何工作的？什么是持久化？简单来讲就是将数据放到断电后数据不会丢失的设备中，也就是我们通常理解的硬盘上。首先我们来看一下数据库在进行写操作时到底做了哪些事，主要有下面五个过程：客户端向服务端发送写操作（数据在客户端的内存中）。数据库服务端接收到写请求的数据（数据在服务端的内存中）。服务端调用write这个系统调用，将数据往磁盘上写（数据在系统内存的缓冲区中）。操作...
2020-02-24 20:40:15
265
原创 redis数据类型和使用方法
Redis 数据类型及其特点Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset(sorted set：有序集合)。String（字符串）string是redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value。string类型是二进制安全的。意思是redis的string可以包含任何数据...
2020-02-24 20:26:59
176
原创 爬虫之生产者和消费者
利用生产者和消费者爬取数据from queue import Queuefrom selenium import webdriverfrom lxml import etreeimport threading'''生产者生产每一页的html页面，也就是生产者负责请求---class Producter消费者消费html，解析---class Consumer缓冲区：队列来做'''...
2020-02-19 19:59:55
303
原创 多线程与多线程爬虫
一、多线程爬虫（一）程序、进程和线程。 程序：就相当于一个应用。 进程：程序运行资源（内存资源）分配的最小单位，一个程序可以有多个进程。 线程：cpu最小的调度单位，必须依赖进程而存在。线程没有独立资源，所有线程共享该进程的全部资源。 线程的划分尺度比进程更小。（二）为什么多进程和多线程可以提高程序的运行速度？ 1、提高程序的运行速度的第一种方法：提高cpu的利用率。 解决的...
2020-02-18 19:33:52
417
原创 selenium基础操作和显示等待
selenium基础操作'''selenium基础操作'''from selenium import webdriver#1、创建一个驱动# driver = webdriver.PhantomJS()#无界面的driver = webdriver.Chrome()# 有界面的# driver = webdriver.Firefox()# 火狐浏览器也支持selenium#2...
2020-02-17 21:22:08
271
原创 xml和html的区别以及xpath语法
一、什么是xml？1、定义：可扩展标记性语言(EXtensible Markup Language)2、特定：xml是具有自描述特性的半结构化数据。3、作用：xml主要用来传输数据二、xml和html的区别？1、语法要求不同：xml的语法要求更严格。 （1）在html中不区分大小写，在xml中严格区分 （2）在html中，有时不严格，如果上下文清楚地显示出段落或者列表键在何...
2020-02-16 16:02:38
485
原创 pattern对象的方法,分组和贪婪非贪婪模式
1、pattern对象的方法（1）match方法：默认从头开始匹配，只匹配一次，返回一个match对象Match对象 = pattern.match(string,#要匹配的目标字符串start,#要匹配目标字符串的起始位置（可选）end#结束位置（可选）)（2）search 方法：全文匹配，只匹配一次，返回一个match对象Match = pattern.search(stri...
2020-02-13 19:34:56
1636
原创 代理和正则表达式
代理1、代理作用192.168.0.101（1）突破自身IP 访问限制， 访问一些平时不能访问的站点。（2）访问一些单位或团体内部资源： 比如使用教育网内地址段免费代理服务器， 就可以用于对教育网开放的各类FTP 下载上传， 以及各类资料查询共享等服务。（3）提高访问速度：通常代理服务器都设置一个较大的硬盘缓冲区， 当有外界的信息通过时， 同时也将其保存到缓冲区中， 当其他用户再访问相同...
2020-02-12 19:33:41
9459
原创 requests模块的使用和数据分类
（一）requests模块简介1、response对象（1）响应正文的乱码问题解决：第一种：用response.content.decode(编码格式）第二种：先用response.encoding = 编码格式在用response.text 就可以解决乱码（2）获取状态码：response.status_code(3)获取响应头：response.headers（4）拼接ur...
2020-02-11 18:20:16
309
原创 爬虫的初步学习与requests模块的使用
一、爬虫一）、数据的由来1)数据如果想要发挥它的作用，必须要分析。2)爬虫最重要的作用就是获取数据。二）、爬虫的定义1）定义：爬虫就是自动抓取互联网信息的脚本或者程序。2）爬虫可以解决的问题 a、解决冷启动问题。 b、搜索引擎的根基：做搜索引擎少不了爬虫。 c、建立知识图谱，帮助建立机器学习知识图谱。3）爬虫工程师的进阶之路 初级爬虫工程师 1.web 前端的知识： H...
2020-02-10 18:32:52
164
原创 cookie和session使用
Django应用cookie和session标题cookie参数介绍设置cookie获取cookiesession应用1.cookie引入sessionsession设置设置session获取session删除session标题cookie参数介绍1、key:cookie键2、value：cookie值，目前不支持中文3、max_age:cookie寿命，一个时长，单位秒 60*64、e...
2020-01-21 12:34:02
393
原创 Flask-------过滤器
过滤器的本质就是函数，有时候我们不仅仅只是需要输出变量的值，我们还需要修改变量的显示，甚至是格式化、运算等。而在模板中，不能直接调用Python中的方法，此时就用到了过滤器。1.使用方式： 变量名|过滤器{{ "hello world" | reverse | upper }}如果没有任何参数传给过滤器,则可以把括号省略掉在 jinja2 中，过滤器是可以支持链式调用的，示例如下{{ "...
2020-01-06 18:58:10
154
原创 flask的sqlalcheml配置
flask的sqlalcheml配置安装flask-sqlalcheml和pymysqlpip install flask-sqlalchemlpip install pymysql配置app.py文件from flask import Flaskfrom flask_sqlalchemy import SQLAlchemyimport osapp = Flask(name)...
2020-01-06 18:28:56
160
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人