- 博客(28)
- 收藏
- 关注
RSS订阅原创 selenium中selenium.webdriver.common.by之By的用法
#从selenium.webdriver.common.by 导入By包进行元素定位from selenium.webdriver.common.by import By By是selenium中内置的一个class，在这个class中有各种方法来定位元素By所支持的定位器的分类：CLASS_NAME = ‘class name’CSS_SELECTOR = ‘css selector’ID = ‘id’LINK_TEXT = ‘link text’NAME = ‘name’PARTI
2020-08-31 17:04:19
3937
1
原创 Selenium中使用CSS定位元素及一些处理
Selenium中使用CSS定位元素前言CSS功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入前言最近项目中使用selenium做web自动化开发，发现用xpath定位只能固定位置的，例如多个卡片相同标签就可以用css来定位并处
2020-06-23 10:29:36
504
原创 Selenium中使用Cookies绕过登录
Selenium中使用Cookies绕过登录在使用selenium测试后台时常常每个流程都需要走登录流程，这样自然比较浪费时间。如果遇到登录需要输入验证码等情况，就可能出师未捷身先死。在Web应用中，登录状态通常是通过Cookie中对应的session id验证的。也是就是说，我们只要携带上登录后的Cookies，浏览器就会自动识别我们为登录状态。由于Selenium每次启动的浏览器是一个隔离的环境，不能直接使用本地已经保存的Cookies值，我们需要通过driver的add_cookie()方法手动添
2020-05-24 21:51:05
761
原创 中间人攻击mitmproxy详解
什么是mitmproxymitmproxy是一个支持HTTP和HTTPS的抓包程序，有类似Fiddler、Charles的功能，只不过它是一个控制台的形式操作。mitmproxy还有两个关联组件。一个是mitmdump，这是它的核心组件，监听信息流，和使用其他语言（python,js）控制。它是mitmproxy的命令行接口，利用它我们可以对接Python脚本，用Python实现监听后的处理。...
2020-04-25 22:19:46
1179
原创 Python中celery的简单使用
1.什么是Clelery- Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统专注于实时处理的异步任务队列同时也支持任务调度- Celery 通过消息机制进行通信，通常使用中间人（Broker）作为客户端和职程（Worker）调节。启动一个任务，客户端向消息队列发送一条消息，然后中间人（Broker）将消息传递给一个职程（Worker），最后由职程（Worker）进行执行中间...
2020-04-25 21:54:50
384
1
原创 Python中MD5加密
MD5加密博客背景前段时间写爬虫发现参数中多出一串加密的字符串（例如：4b5ec33ae3d8ba830178dafea1cc2611），然后通过浏览器搜索发现使用了MD5加密，所以才想写一篇博客记录一下。具体的浏览器分析过程再次就不多赘述了，网上有很多参考文档，这里重点说一下Python中实现MD5的方法。要为一个数据块计算MD5散列，首先要创建散列对象，然后增加数据，最后调用...
2020-03-25 21:25:33
165
原创 Python中时间与日期转换
1、将数字转换为日期（数字格式例如：1546358400）data_time = 1546358400timeArray = time.localtime(data_time)Time = time.strftime("%Y-%m-%d", timeArray)print(Time) # 输出为 2019-01-022、将时间转换为数字（例如时间戳）timeStamp = time....
2020-02-19 20:03:23
798
原创 Redis如何保持和Mysql数据一致
1、Mysql持久化数据，Redis只读数据Redis在启动后，从数据库家加载数据读请求：不要求强一致性的读请求，走redis，要求强一致性的直接从mysql读取写请求：数据首先都写到数据库，之后更新redis（先写redis再写mysql，如果写入失败事务回滚会造成redis中存在脏数据）一般缓存是这样的：#读的顺序是先读缓存，后读数据库#写的顺序是先写数据库，然后写...
2020-02-19 19:45:51
192
原创 requests.exceptions.ChunkedEncodingError: ('Connection broken: IncompleteRead(0 bytes read)'
requests.exceptions.ChunkedEncodingError: (‘Connection broken: IncompleteRead(0 bytes read)’, IncompleteRead(0 bytes read))解决方法：问题：爬虫requests请求时发生如下错误解决方法：解决：requests请求时，后面加上参数：stream=True。参考外国...
2020-01-11 17:41:12
2337
1
原创 常见爬虫的分类
网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的 。1.通用网络爬虫（General Purp...
2019-10-28 14:18:19
9679
原创 Python中的pymysql模块
1、什么是PyMySQL?为了使python连接上数据库，你需要一个驱动，这个驱动是用于与数据库交互的库。PyMySQL ： 这是一个使Python连接到MySQL的库，它是一个纯Python库。PyMySQL是一个开源项目 ：https://github.com/PyMySQL/PyMySQL作用：将经常用于查询的某些字段定义索引后，数据库利用索引定位技术，能够大大加快...
2019-09-23 22:35:30
191
1
原创 Python爬虫面试题（一）
一、HTTP与HTTPS的区别？概念：HTTP：超文本传输协议，是互联网应用最广泛的一种网络协议，所有的www文件都必须遵守这个标准，是一个客户端与服务器端请求和应答的标准（TCP），用于从www服务器传输超文本到本地浏览器的传输协议。HTTPS：安全套接字层超文本传输协议，以安全为目标的HTTP通道，简单的说就是HTTP安全版，即在HTTP下加入SSL层，HTTPS的安全基础是...
2019-09-23 22:21:27
184
原创 破解有道翻译
破解有道翻译1、先获取到翻译的接口（http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule）2、想要翻译单词，肯定要提交表单，查看Network中From-Data所提交的内容3、分析提交内容发现，i是你所提交的内容，salt是时间戳，ts是时间戳少一位，sign是通过加密算法加密，通过页面返回的JS...
2019-09-23 22:03:29
2750
原创 Django中的Form组件
一、Form组件Django 中的form组件实现了如下的功能1、生成页面可用的HTML标签2、对用户提交的数据进行校验3、保留上次输入内容（回显）（一）普通方式手写注册功能（二）使用Form组件使用form组件步骤（1）、导入form组件：from django import forms（2）、编写类继承forms.Form（3）、创建对象（4）、生成页面{{xx.a...
2019-08-27 22:30:12
242
原创 Django中的中间件（middleware）
一、middleware（中间件）1、什么是中间件问题：如何过滤掉没有登陆就访问其他页面？解决方法使用装饰器（但是我们要过滤的页面很多，这个方法就很不方便了）使用中间件（使用此方法要注意，中间件是全局操作，所以要慎用）概念：中间件是一个用来处理Django的请求和响应的一个类，可以改变全局范围内Django的输入和输出。简单理解就是中间件是帮助我们在视图函数执行之前和执...
2019-08-27 22:20:22
296
原创 Django模板系统
一、Django Template Language（DTL）DTL 即 Django模板语言，Django 模板是一些文本字符串，作用是把文档的表现与数据区分开。模板定义一些占位符和基本的逻辑（模板标签），规定如何显示文档。通常，模板用于生成 HTML。Django 1.8 还支持另一个流行的模板引擎，Jinja2。二、使用Django模板导入 Template 和 Context ...
2019-08-07 21:03:49
154
原创 Django中的反向代理
URL反向代理（别名）使用反向代理，解决硬编码问题。拓展：硬编码是将数据直接嵌入到程序或其他可执行对象的源代码中的软件开发实践，与从外部获取数据或在运行时生成数据不同。 硬编码数据通常只能通过编辑源代码和重新编译可执行文件来修改。为解决这一问题django使用url反向代理来解决例如：在urls.py文件中加载路由re_path（r'^index/$',view.index）,...
2019-08-07 20:45:06
715
转载 scoket
我们深谙信息交流的价值，那网络中进程之间如何通信，如我们每天打开浏览器浏览网页 时，浏览器的进程怎么与web服务器通信的？当你用QQ聊天时，QQ进程怎么与服务器或你好友所在的QQ进程通信？这些都得靠socket？那什么是 socket？socket的类型有哪些？还有socket的基本函数，这些都是本文想介绍的。本文的主要内容如下：1、网络中进程之间如何通信？2、Socket是什么？3、soc...
2019-08-05 19:27:10
2031
转载 Django中Model模块的操作-创建各种表结构（上）
Django框架功能齐全自带数据库操作功能，本文主要介绍Django的ORM框架到目前为止，当我们的程序涉及到数据库相关操作时，我们一般都会这么搞：创建数据库，设计表结构和字段使用 MySQLdb 来连接数据库，并编写数据访问层代码业务逻辑层去调用数据访问层执行数据库操作ORM是什么？：(在django中，根据代码中的类自动生成数据库的表也叫–code first)ORM：Obje...
2019-07-28 21:14:03
696
转载 浏览器的一个请求从发送到返回都经历什么？
目录按下"g"键回车键按下产生中断[非USB键盘](Windows)一个 WM_KEYDOWN 消息被发往应用程序(Mac OS X)一个 KeyDown NSEvent被发往应用程序(GNU/Linux)Xorg 服务器监听键码值解析URL输入的是 URL 还是搜索的关键字？转换非 ASCII 的 Unicode 字符检查 HSTS 列表DNS 查询ARP 过程使用套...
2019-07-28 20:56:08
705
原创 python中的异常模式和设计模式
异常的引入概念异常就是不正常，当python检测到一个错误时，解释器就无法继续执行下去了，反而出现了一些错误的提示，这就是所谓的异常。捕获异常try—except案例：从键盘输入被除数与除数，求商并打印传统解决方法使用异常处理的解决方法except 多个异常-多个异常分开写(注意异常<父子>类的顺序)try: <语句> ex...
2019-07-16 20:44:58
247
原创 python函数进阶
函数参数类型不可变类型参数：整数、字符串、元组。 fun（a）内部修改 a 的值，只是修改另一个复制的对象，不会影响 a 本身。 可变类型：列表，字典。如 fun（la）， 则是将 la 真正的传过去，修改后 fun 外部的 la 也会受影响传递不可变类型参数，不会影响参数本身。传递可变类型参数，会影响参数本身。def func1(name,names = []): names...
2019-07-15 20:12:22
100
原创 django中的视图基础知识整合·
视图概念:作用：视图接受web请求，并响应web请求本质：视图就是一个python函数响应：网页：重定向错误视图404500JDON数据响应过程：用户在浏览器中输入网址（www.sunck.wang/sunck/index.html） 网址django获取网址信息 ----》 去除IP与端...
2019-07-14 21:11:22
140
原创 django模型基础知识整合
模型django对各种数据库提供了很好的支持，django为这些数据库提供统一的调用API我们可以根据业务需求选择不同的数据库配置数据库工程目录下的__init__.py文件中修改添加：import pymysqlpymysql.install_as_MySQLdb()修改setting.py文件DATABASES = { 'default...
2019-07-14 20:55:19
213
原创 python中的网络编程
网络基础软件开发架构程序间的通讯大致分两种：应用类程序：QQweb类程序 ：借助浏览器客户端服务器：客户端服务器开发架构:C/S架构B/S结构计算机网络ip地址：概念：每台电脑在网络世界中都有一个全球唯一的标识物理地址网卡上有全球上唯一的物理地址(mac)，长度为48位2进制，通常由12位16进制数表示（前六位是厂...
2019-07-13 11:50:52
121
原创 python中常用的算法
算法查找顺序查找> def sequential_Search(item,list): > i = 0 > while i < len(list): > if item == list[i]:> return i > i += 1 > return -1二分查找(折半查找)循环实...
2019-07-12 21:19:11
241
原创 python中的魔法方法
魔法方法概念在一定时机下，pyhton解释器自动执行的方法常用魔法方法_ _ del _ _执行时机当一个对象在内存中被销毁的时候自动执行案例验证（内存问题）_ _ call _ _执行时机对象后面加括号，触发执行。即：对象() 或者 类()()案例验证：class A():pass a = A()#直接调用对象 a()_ _ repr _ ...
2019-07-12 19:35:24
108
原创 python中多进程和多线程
简介任务可以理解为程序，多个程序同时执行 比如：边听歌，边看小说 边写代码，边听听歌 单核电脑实现多任务： 调度算法： 时间片轮转 并发： 3个任务，2个cpu，轮番调度并行： 4个cpu，3个任务进程的创建Process创建进程Process([group [, target [, name [, args [, kwargs]]]]])target：如果传递了函数的引用，可以...
2019-07-09 22:38:53
207
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人