![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 60
3个码农
这个作者很懒,什么都没留下…
展开
-
Python Spider:Beautifulsoup基本使用
Beautifulsoup:解析库安装:pip3 install beautifulsoup4(第四版本)用法:from bs4 import Beautifulsoup创建解析对象:soup = Beautifulsoup(markup,解析器)Markup:目标字符串解析器:支持:python标准库解析器:html.parserlxml HTML解析器:‘lxml’lxml...原创 2019-05-28 18:23:33 · 2061 阅读 · 0 评论 -
今日头条 as cp
def getASCP(self): t = int(math.floor(time.time())) e = hex(t).upper()[2:] m = hashlib.md5() m.update(str(t).encode(encoding='utf-8')) i = m.hexdigest().upper() if len(e) != 8...原创 2019-08-14 17:31:05 · 299 阅读 · 0 评论 -
adb使用
使用adb shell,进入后执行获取android系统版本:getprop ro.build.version.release获取系统api版本:getprop ro.build.version.sdk获取手机相关制造商信息:getprop | grep “model|version.sdk|manufacture r|hardware|platform|revision|serial...原创 2019-08-19 15:26:48 · 1876 阅读 · 0 评论 -
selenium使用详解
爬虫自动化工具selenium详解Selenium详解:自动化测试工具,支持多种浏览器,爬虫中主要用来解决JavaScript渲染的问题安装:pip3 install selenium用法:from selenium import webdriverbrowser = webdriver.Chrome()#创建一个chrome浏览器对象browser.get(‘http://www...原创 2019-04-09 12:13:57 · 9103 阅读 · 0 评论 -
appium +Android SDK+jre全套爬虫环境搭建
环境搭建:参考:https://www.cnblogs.com/fnng/p/4540731.htmlhttps://www.jianshu.com/p/0326f422e3081.Android SDKhttp://tools.android-studio.org/index.php/sdkandroid-sdk_r24.4.1-windows.zip2.appium(命令行版)...原创 2019-07-05 11:50:58 · 6467 阅读 · 0 评论 -
微信公众号文章爬虫:包括文章、点赞数、阅读数
mitmdump+appium+ip代理池+adbadb使用:https://blog.csdn.net/xing851483876/article/details/82493412微信公众号文章爬取(包括阅读数和点赞数)微信公众号排行榜:清博大数据、新榜等问题:取历史信息页时,最重要4个参数:__biz:微信公众平台对外公布的公众帐号的唯一iduin=:key=:key值有效期:...原创 2019-07-17 14:40:15 · 6726 阅读 · 1 评论 -
appium新手入门(4)—— java-client安装与测试
appium新手入门(4)—— java-client安装与测试最后更新时间 2018-12-12关联阅读:appium新手入门(1)—— appium介绍appium新手入门(2)—— 安装 Android SDKappium新手入门(3)—— 安装 appium Server前提条件当你点击这一章时,说明你是打算使用 Java 语言编写 appium 自动化测试脚本的。1、安装...转载 2019-06-12 14:50:13 · 3111 阅读 · 1 评论 -
appium新手入门(3)—— 安装 appium Server
appium新手入门(3)—— 安装 appium Server虫师 创建于 6 个月 之前最后更新时间 2018-12-12我们可以在Appium官方网站上下载操作系统相应的Appium版本。https://bitbucket.org/appium/appium.app/downloads/当前最新版本为 AppiumForWindows_1_4_16_1.zip ,注意这是一个 Wi...转载 2019-06-12 14:50:00 · 1647 阅读 · 0 评论 -
appium新手入门(2)—— 安装 Android SDK
appium新手入门(2)—— 安装 Android SDK虫师 创建于 6 个月 之前最后更新时间 2018-12-12注明: 理论上这一章不是必须的,如果你不想使用 Android 模拟器运行测试的话可以跳过,不过,建议安装;原生 Android 好折腾!关键是它自带的一些工具是你做 appium 测试必须要用的!安装Android SDKAndroid SDK(Software D...原创 2019-06-12 14:49:37 · 1979 阅读 · 0 评论 -
appium新手入门(1)—— appium介绍
appium新手入门(1)—— appium介绍最后更新时间 2018-12-12appium介绍官方网站1、特点appium 是一个自动化测试开源工具,支持 iOS 平台和 Android 平台上的原生应用,web应用和混合应用。“移动原生应用”是指那些用iOS或者 Android SDK 写的应用(Application简称app)。“移动web应用”是指使用移动浏览器访问的应用...转载 2019-06-12 14:49:27 · 1627 阅读 · 0 评论 -
requests.post基本应用
一、方法定义二、post方法简单使用1、带数据的post2、带header的post3、带json的post4、带参数的post5、普通文件上传6、定制化文件上传7、多文件上传一、方法定义:1、到官方文档去了下requests.post()方法的定义,如下:2、源码:3、常用返回信息:二、post方法简单使用:1、带数据的post:复制代码-- coding:utf...转载 2019-06-06 16:49:32 · 7512 阅读 · 0 评论 -
scrapy简单应用
import scrapyclass ZhihuSpider(scrapy.Spider):# 爬虫名字,名字唯一,允许自定义name = ‘zhihu’# 允许爬取的域名,scrapy每次发起的url爬取数据,先回进行域名检测,检测通过就爬取allowed_domains = [‘zhihu.com’]#发起的起始url地址,scrapy项目启动自动调用start_request()...原创 2019-06-06 15:24:40 · 1516 阅读 · 0 评论 -
Python Spider:requests库使用
requests库详解:基于urllib开发的,采用Apache2 Licensed开源协议的HTTp库安装:pip3 install requestsresponse = requests.get(url)response.text 请求文本内容带参数的get请求data = {key:value}response = requests.get(url, params=dat...原创 2019-05-28 18:27:17 · 2939 阅读 · 0 评论 -
uiautomator2使用教程
UiAutomator是Google提供的用来做安卓自动化测试的一个Java库,基于Accessibility服务。功能很强,可以对第三方App进行测试,获取屏幕上任意一个APP的任意一个控件属性,并对其进行任意操作,但有两个缺点:1. 测试脚本只能使用Java语言 2. 测试脚本要打包成jar或者apk包上传到设备上才能运行。我们希望测试逻辑能够用Python编写,能够在电脑上运行的时候就控制...原创 2019-08-20 10:41:11 · 16564 阅读 · 2 评论