![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
提升自己
MerlinShieh
这个作者很懒,什么都没留下…
展开
-
关于APP自动化测试框架
APP自动化框架原创 2020-05-09 10:56:43 · 2166 阅读 · 0 评论 -
使用selenium对卡车之家论坛进行爬虫
直接上代码 # -*- coding: utf-8 -*- # @Time : 2019/1/24 14:36 # @Author : Merlin # @Email : shiehmerlin@gmail.com # @File : kachezhijialuntan.py # @Software: PyCharm Community Edition import selen...原创 2019-01-26 16:19:14 · 623 阅读 · 1 评论 -
通过Selenium 写的一个不是爬虫的爬虫程序
背景 公司最近给的任务是让我去分析竞争对手的论坛数据。而我也是恰巧在学Python,故通过selenium 自动化的方法对目标网站进行爬虫 selenium selenium是软件测试中常用到的一个工具,通过运行脚本的方式,模仿人进行浏览器操作,我是用的selenium2+基于火狐的webdriver +Python3。 源码 # -*- coding: utf-8 -*- # @Time ...原创 2019-01-22 12:01:21 · 277 阅读 · 0 评论 -
关于Python3 多线程的一些笔记与demo
多线程 ### 来源菜鸟教程 多线程运行有如下优点: 1、使用线程可以把占据长时间的程序中的任务放到后台去处理。 2、在一些等待的任务实现上如用户输入、文件读写和网络收发数据等,线程就比较有用了。在这种情况下我们可以释放一些珍贵的资源如内存占用等等。此时的程序的运行速度可能加快 3、线程在执行过程中与进程还是有区别的。每个独立的线程有一个程序运行的入口、顺序执行序列和程序的出口。但是线程不能够...原创 2019-02-26 20:08:35 · 218 阅读 · 0 评论 -
关于selenium如何免登录(爬虫)
想法: 先使用selenium打开网页后,手动进行一次登录,此时浏览器通过cookie保存了我们的登录信息,然后get_cookies()获取当前的cookies。 这时候的cookies数据是保存在内存里面,如果需要之后的使用,就需要将cookies保存在本地,使用的是转为json.dumps()进行保存。 保存之后后期需要使用cookies,则使用json.loads()转为字典,然后使用ad...原创 2019-03-09 16:39:42 · 2111 阅读 · 1 评论 -
Python 使用requests-html 进行爬虫
介绍: Requsts库,里面是一个用来模拟发送HTTP请求的第三方Python 库。常用来做爬虫或接口测试,相对于urllib 等系统库,requests具有简洁方便和高效等特点。 而Requests-HTML 对PyQuery、Requests、lxml、beautifulsoup4等库进行了二次封装,添加了解析 HTML 的接口,是一个 Python 的 HTML 解析库。 GiHub项目地...原创 2019-08-07 11:55:36 · 933 阅读 · 0 评论