crayonjingjing的博客

1，导入Proxy库来添加capabilities属性：可以访问网站，但ip还是本机ip。

第二步：通过路径在XHR断点中进行校验：赋值路径/front/search/category，在网页点击source（源代码），右侧找到XHR/fetch Breakpoints（XHR/提取断点）点击添加路径，然后重新刷新网页。直到看到关键字路径/front/search/category，然后点击requestHeaders查看请求头校验，同时可以看到options中data格式为字符串格式，所以不能直接data不能写为常用的json格式。将验证字段添加到请求头中。

查询之后发现是 demjson 2.2.4 兼容python2和python3，当安装环境为python3时，有一部分代码需要转换，Setuptools从版本58.0.0开始不再支持2to3的builds，所以导致 demjson 2.2.4安装后不再可用，今天在pip install demjson时报了以下错误：error in demjson setup command: use_2to3 is invalid。

第一步，下载Appium-Server-GUI：下载地址：https://github.com/appium/appium-desktop/releases下载到本地后，在运行Appium Server GUI之前，需要先确保已配置好java环境和andriod sdk（主要是JAVA_HOME和ANDROID_HOME），由于笔者提前配置好了，这里不做赘述，未安装的同学需要安装配置完毕再回到这一步。点击Appium Server GUI.exe运行，点击点击Edit Configuration

由于需要用到APP数据抓包分析，所以本文记录下Fiddler下载安装的流程，以及如果在手机设置代理，成功在fiddler访问手机APP数据。第一步，下载Fiddler：Fiddler官网链接：https://www.telerik.com/fiddler，点击【try for free】→【Fiddler Classic】：填写以下三个信息（一和三可以随便选择一项），然后点击【download for windoes】下载到本地，之后点击FiddlerSetup一步步点击Next安装（同其他安装软

在创建类的时候往往会用到__init__函数 这一类两边带有下划线的函数往往是私有函数，只能在该类的内部使用。init 的本意就是初始化的意思，一般出现在程序创建类中的第一个函数 。例如：其实也可以不用初始化。比如：这样的话，我们初始化的类中也会有一个name参数，但这个参数已经固定了赋值为“red”如果我们运用__init__函数，则声明了一个可以动态变化的参数name 例如：结果就是"red2" ，当然，你也可以传递不同的参数。我的理解就是__init__函数在创建类的开始，初始化一些参数，给

不同电脑导致鼠标箭头一直转圈的程序不一样，一定要学会在任务管理器里面找到PID反复乱跳的程序，结束任务即可恢复正常，不要再随便win+R禁用不知名服务啦

在爬取网站https://verbalearn.com/game-tri-tue/dap-an-duoi-hinh-bat-chu/时，需要按如下需求爬取图片和答案：本次爬取数据量不大，爬取内容也都集中在一个页面，网站也没有异步加载或反爬措施，但是遇到了三个难点：难点一：图片链接是lazyload，且全部151条图片链接，分散在两个模块下，第一个模块’//div[@class=“entry-content”]/figure/img’的43条图片链接数据爬取顺利，第二个模块’//div[@class=“

今天记录海外图片素材网站Pinterest的图片爬取初步分析：网站是动态渲染网站，每往下滑动，刷新出来新的页面；通过观察刷新后的网页，初步定位每页的请求url是https://www.pinterest.com/resource/BaseSearchResource/get/，可以看到这是一个POST请求，之后分析Preview和Response可以确定该url里面的确有我们要的数据：但是该POST请求有两个加密参数：source_url和data；经对比后，发现每页数据的source_url是相同的

今天记录从excel表中读取成语，输入网站查询，获取成语的常用程度，并写入excel中；（之前的方式是直接从谷歌搜索结论数，但是谷歌的人机校验实在不好绕过，且时间成本很高，所以换了个直接有成语常用度数据的网站，选对合适的网站就简单得很）。完整代码及分析如下：# from selenium import webdriver# from selenium.webdriver.common.by import By# from selenium.webdriver.common.keys import K

analysis参数是js加密之后的，需要对原代码进行逆向分析才能解密爬取。js逆向分析的学习，参考B站关于music评论爬取的视频（https://www.bilibili.com/video/BV1Mf4y1s7ds?p=42），七麦网的分析，参考博客https://blog.csdn.net/weixin_43582101/article/details/122456609这里以music评论为例记录下js逆向分析的流程。

注意：以后再遇到图片lazyload问题，先从找到真正属性入手，不要被加密和混淆绕远：如果控制台的elements里面看不到真正属性，那就右键从网页源代码里面找图片链接对应的真正属性！ 在爬取脑筋猜词画迷题库的时候，爬取到的图片没有正常显示网页src后面对应的链接，而是显示’data:image/gif;base64,R0lGODdhAQABAPAAAMPDwwAAACwAAAAAAQABAAACAkQBADs='，如下图所示：原因是src对应的链接，设置了lazyloaded（延迟加载），所以不应用

今天记录利用selenium从excel中读取内容，将内容输入到谷歌浏览器中，并搜索得到结论数，然后再将结论数写入excel中的案例。思路：1，利用selenium模拟用户操作浏览器，由于是繁体成语，且是在谷歌浏览器中进行搜索，先开启代理，然后将谷歌浏览器默认语言设置为中文繁体（设置->高级->语言），同时在谷歌浏览器的主页，还要将浏览器页面的展示设置为繁体；2，设置完之后，关闭Chrome浏览器，进入电脑C:\Users\AppData\Local\Google\Chrome路径下，

在使用PyCharm时，不知是导入了matplotlib还是导入pyqt5模块，即使没有用到这两个模块，也总是提示‘Backend QtAgg is interactive backend. Turning interactive mode on.’：强迫症实在受不了，网上搜了几种方法，前几种方法（包括修改settings，将Enable interactive mode选项选中和增加以下代码的方式）都无效，遂将最终有效的方法记录在这里。import matplotlib.pyplot as plt

如图，需要得到出处文本内容，如果只是"./p[4]/text()"匹配，则会漏掉/a下面的“起坐”和“桃笙”：改为列表推导式和string(.)的方式返回/p下面的所有子节点文本：chuchu = result.xpath("./p[4]") for a in chuchu: origin = [i.xpath('string(.)') for i in a.xpath('.')] print('origin:',origin[0][3:]) # 再通过[3:]切割去掉“出处

1022 D进制的A+B (20 分)输入两个非负 10 进制整数 A 和 B (≤230 −1)，输出 A+B 的 D (1<D≤10)进制数。输入格式：输入在一行中依次给出 3 个整数 A、B 和 D。输出格式：输出 A+B 的 D 进制数。输入样例：123 456 8输出样例：1103python代码（部分正确，得分18分）：s = list(map(int,input().split()))A,B,D= s[0],s[1],s[2]C = int(A + B)

1017 A除以B (20 分)本题要求计算 A/B，其中 A 是不超过 1000 位的正整数，B 是 1 位正整数。你需要输出商数 Q 和余数 R，使得 A=B×Q+R 成立。输入格式：输入在一行中依次给出 A 和 B，中间以 1 空格分隔。输出格式：在一行中依次输出 Q 和 R，中间以 1 空格分隔。输入样例：123456789050987654321 7输出样例：17636684150141093474 3python代码：s = list(map(int,input().spl

1014 福尔摩斯的约会 (20 分)大侦探福尔摩斯接到一张奇怪的字条：我们约会吧！3485djDkxh4hhGE2984akDfkkkkggEdsbs&hgsfdkd&Hyscvnm大侦探很快就明白了，字条上奇怪的乱码实际上就是约会的时间星期四 14:04，因为前面两字符串中第 1 对相同的大写英文字母（大小写有区分）是第 4 个字母 D，代表星期四；第 2 对相同的字符是 E ，那是第 5 个英文字母，代表一天里的第 14 个钟头（于是一天的 0 点到 23 点由数字

1013 数素数 (20 分)令 Pi表示第 i 个素数。现任给两个正整数 M≤N≤104，请输出 PM 到 PN 的所有素数。输入格式：输入在一行中给出 M 和 N，其间以空格分隔。输出格式：输出从 PM 到 PN 的所有素数，每 10 个数字占 1 行，其间以空格分隔，但行末不得有多余空格。输入样例：5 27输出样例：11 13 17 19 23 29 31 37 41 4347 53 59 61 67 71 73 79 83 8997 101 103python代码：

1012 数字分类 (20 分)给定一系列正整数，请按要求对数字进行分类，并输出以下 5 个数字：A1= 能被 5 整除的数字中所有偶数的和；A2= 将被 5 除后余 1 的数字按给出顺序进行交错求和，即计算 n1−n2+n3−n4⋯；A3= 被 5 除后余 2 的数字的个数；A4= 被 5 除后余 3的数字的平均数，精确到小数点后 1 位；A5= 被 5 除后余 4 的数字中最大数字。输入格式：每个输入包含 1 个测试用例。每个测试用例先给出一个不超过 1000 的正整数 N，随后给出