![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 68
xiaozhu_sai
询问请联系746139767@qq.com
展开
-
爬下artstation关注的画师信息制作为json文件
原始网站 https://www.artstation.com/Author:xiaozhu_sai本文章仅供学习交流,请勿交流梯子以及版权问题1、爬取数据目的&后续处理方便后续对各个画师作品的个人下载个人练习‘用户关注’的推荐算法与其大数据处理后数据:2、使用who-you-konw提供的端口位置以及加载时候的访问API即可获取所有画师的json信息https://www.artstation.com/users/个人ID/following.json?page=1一个pa.原创 2021-05-11 19:49:19 · 776 阅读 · 1 评论 -
VScode自由切换输出结果窗口,输出到“终端”和“调试控制台”
@Author:xiaozhu_sai软件:Visual Studio Code点击右边的齿轮按钮,打开launch.json文件,注意"console"属性即可,具体见一下代码{ // 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。 // 欲了解更多信息,请访问: https://go.microsoft.com/fwlink/?linkid=830387 "version": "0.2.0", "configuratio原创 2020-12-21 17:58:26 · 38888 阅读 · 4 评论 -
已解决。selenium自动化定位元素,点击按钮,异常报错
@Author:xiaozhu_saiDate:2020/12/15发生异常: NoSuchElementExceptionMessage: no such element: Unable to locate element:发生异常: ElementNotInteractableException Message: element not interactable发生异常: ElementClickInterceptedExceptionMessage: element click i原创 2020-12-16 01:24:07 · 1996 阅读 · 0 评论 -
[ Note] Google Python语言写作规范
参考: Google python仅供学习使用Author:xiaozhu_sai圆括号、中括号、花括号可以换行,并且会将行隐式的连接起来,包括字符串if (width == 0 and height == 0 and color == 'red' and emphasis == 'strong'):x = ('This will build a very long long ' 'long long long long long long string')每.原创 2020-12-02 14:52:02 · 105 阅读 · 1 评论 -
[ Note]判断语句使用隐式False,即[] ““ {} None等
定义 : Python在布尔上下文中会将某些值求值为false. 按简单的直觉来讲, 就是所有的”空”值都被认为是false. 因此0, None, [], {}, “” 都被认为是false.优点 : 使用Python布尔值的条件语句更易读也更不易犯错. 大部分情况下, 也更快.缺点 : 对C/C++开发人员来说, 可能看起来有点怪.结论 :尽可能使用隐式的false, 例如: 使用 if foo: 而不是 if foo != []: . 不过还是有一些注意事项需要你铭记在心:永远不要用=原创 2020-12-02 13:51:58 · 293 阅读 · 0 评论 -
[ Note]python字符串的json 格式化美化输出
通过爬虫获取到的json文件是字符串,vscode的prettify json失效参考:json.dumps参数之解python的JSON用法——dumps的各种参数用法(详细)源码jsonfile = json.dumps( #json文件 page.json(), #缩进显示 indent=4, #排序 a-z sort_keys=True, #防止中文乱码 ensure_ascii=False, # #去掉‘,’和‘:’的前后原创 2020-12-01 17:22:36 · 993 阅读 · 0 评论 -
[ 多线程]GlidedShy 第二题 爬取多页数据
python 第二题 重置为多线程100t版本爬虫练习网站: GlidedShy官网GlidedShy 第一题完整程序见GlidedShy 第二题 实现多页爬取数据# GlidedSky 第二题# @Author: xiaozhu_sai# Date: 2020/11/28""" #题目2 多线程版(100t) def Q2_100t(self): #判断/进入题目2页面 self.clickQuestion(2, False)原创 2020-11-29 17:35:08 · 81 阅读 · 0 评论 -
GlidedShy 第二题 实现多页爬取数据
python 优化识别功能,多页爬取信息练习GlidedShy官网 爬虫练习网站第一题功能实现步骤:进入题目二获取1-1000页数据求和并提交框架:Seleium控制浏览器 & bs4爬取数据未使用多线程,后续重置由第一题续写,代码注释已详细写出,之后会更新后续题目。# GlidedSky 第二题# @Author: xiaozhu_sai# Date: 2020/11/28"""这里有一个网站,还是求所有数字的和,只是这次分了1000页。待爬取网站 http:/原创 2020-11-29 10:49:14 · 163 阅读 · 0 评论 -
GlidedShy 第一题 实现自动登录和数据爬取
python 自动登录,控制浏览器,爬取信息练习GlidedShy官网步骤:自动登录,输入账号密码选择题目爬取数据,自动提交后返回验证邮箱(注册时已人工验证)框架:Seleium控制浏览器 & bs4爬取数据代码注释已详细写出,之后会更新后续题目# GlidedSky 第一题# @Author: xiaozhu_sai# Date: 2020/11/26"""这里有一个网站,里面有一些数字。把这些数字的总和,输入到答案框里面,即可通过本关。待爬取网站 http:/原创 2020-11-27 22:03:48 · 1332 阅读 · 1 评论 -
已解决,selenium 接管浏览器问题
关于每次调试 自动登录.py 都要重新打开一次浏览器(chrome)解决方案问题产生:编写自动化/自动登录脚本时,每次Run程序都要重新打开一次浏览器窗口,而且不便于脚本和人工接管测试资料检索关键字:selenium 浏览器接管@Author :xiaozhu_sai解决步骤:1.在cmd中输入chrome.exe --remote-debugging-port=54786 --user-data-dir="C:\selenum\AutomationProfile"以管理员身份打开–re原创 2020-11-27 12:30:22 · 1858 阅读 · 0 评论 -
python爬取练习 名侦探柯南剧集信息——各集列表
爬虫练习 2爬取百度百科“名侦探柯南各集列表”网页目标:https://baike.baidu.com/item/%E5%90%8D%E4%BE%A6%E6%8E%A2%E6%9F%AF%E5%8D%97%E5%90%84%E9%9B%86%E5%88%97%E8%A1%A8/49823770爬取数据的目的以及后续处理:目的:清楚每一集的登场人物,方便追番(bushi),老二次元了(比如fbi kid 酒厂等)[ x ] 获取名侦探柯南剧集数据/表格[ ] 将“登场”数据添加在Bil原创 2020-11-09 20:28:37 · 2200 阅读 · 0 评论