![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 63
shadowtalon
可提供python,爬虫一对一辅导服务
展开
-
Python库之pandas的高级用法深度解析
pandas 的高级用法为数据分析提供了强大的工具和方法。从复杂的数据选择与过滤、数据分组与聚合、时间序列分析、数据透视表、缺失数据处理、数据转换、文件读写、性能优化到类别数据优化,pandas 的高级功能可以帮助数据科学家和分析师处理各种复杂的数据分析任务。掌握这些高级用法,可以显著提高数据处理的效率和质量。原创 2024-06-05 11:17:21 · 431 阅读 · 0 评论 -
Python库之pandas的简介、安装、使用方法详细攻略
pandas 是 Python 数据分析领域的核心库之一,它提供了丰富的功能来处理和分析数据。通过本文的介绍,你应该已经了解了如何安装 pandas,以及如何使用它进行数据读取、查看、选择、清洗、转换、合并、时间序列处理、数据分组、数据透视表创建和文件输出等操作。pandas 的强大功能使得它成为数据科学家和分析师不可或缺的工具之一。原创 2024-06-05 11:14:21 · 2027 阅读 · 0 评论 -
Python库之pyautogui的高级用法深度解析
pyautogui是一个功能强大的自动化库,它的高级用法可以满足复杂的自动化需求。通过屏幕图像搜索、多屏幕支持、滚动和拖动、监听键盘和鼠标事件、定时任务、异常处理以及性能优化等高级功能,pyautogui可以帮助开发者创建更加强大和灵活的自动化脚本。在使用这些高级功能时,需要注意异常处理和性能优化,以确保脚本的稳定性和效率。原创 2024-06-04 11:37:19 · 551 阅读 · 0 评论 -
Python库之PyAutoGUI的简介、安装、使用方法详细攻略
PyAutoGUI 是一个功能强大的自动化库,它提供了丰富的方法来控制鼠标和键盘。通过本文的介绍,你应该已经了解了如何安装和使用 PyAutoGUI 来实现基本的自动化操作。在实际应用中,你可以根据自己的需求来编写更复杂的自动化脚本。原创 2024-06-04 11:34:40 · 3950 阅读 · 1 评论 -
Python库之Scrapy-Redis的高级用法深度解析
Scrapy-Redis使用来过滤重复的请求。你可以通过继承类来自定义过滤逻辑。# 自定义请求指纹生成逻辑然后在Scrapy-Redis允许你自定义调度器,以适应不同的爬取策略。设置自定义调度器创建一个继承自的类,并实现所需的方法。在中指定自定义调度器Scrapy-Redis的高级用法为爬虫开发提供了极大的灵活性和扩展性。通过自定义DupeFilter、调度器、动态控制爬取、利用Redis数据结构、负载均衡以及监控与日志,你可以构建高效、稳定且易于维护的分布式爬虫系统。原创 2024-05-31 14:54:18 · 849 阅读 · 0 评论 -
Python库之Scrapy-Redis简介、安装、使用方法详细攻略
Scrapy-Redis是Scrapy框架的一个强大扩展,它利用Redis的高性能和分布式特性,使得Scrapy爬虫能够轻松实现分布式处理。通过简单的配置和代码修改,就可以将一个普通的Scrapy爬虫转变为一个高效的分布式爬虫。原创 2024-05-31 14:51:40 · 572 阅读 · 0 评论 -
Python库之Playwright高级用法深度解析
Playwright是一个功能丰富、灵活的自动化库,它的高级用法可以帮助开发者解决复杂的自动化测试问题。本文介绍了Playwright的一些高级用法,包括浏览器上下文、选择器引擎、网络监听、模拟网络条件等。通过这些高级用法,您可以更有效地利用Playwright进行Web自动化测试。请注意,本文中的示例代码使用了Playwright的同步API,适合简单的脚本和学习目的。对于生产环境,推荐使用异步API以提高性能和效率。此外,Playwright的文档和社区资源非常丰富,是学习和解决问题的宝贵资料。原创 2024-05-30 10:55:18 · 527 阅读 · 0 评论 -
Python库之Playwright简介、安装、使用方法详细攻略
跨浏览器测试:支持Chrome、Firefox和Safari。跨平台测试:支持Windows、Linux、macOS。网络交互:支持拦截、修改网络请求。文件上传下载:支持文件的上传和下载操作。屏幕截图和PDF:可以捕获页面截图或生成PDF。视频录制:可以录制浏览器会话。Playwright是一个功能强大且易于使用的自动化库,它为自动化测试提供了丰富的API。通过上述的安装和使用方法,您可以快速上手Playwright,为您的自动化测试项目增添动力。原创 2024-05-30 09:29:17 · 1975 阅读 · 0 评论 -
Python库之retrying的高级用法深度解析
通过参数,你可以指定只在特定类型的异常发生时才进行重试。# 只有当发生IOError时才会重试pass。原创 2024-05-29 16:16:19 · 527 阅读 · 0 评论 -
Python库之retrying的简介、安装、使用方法详细攻略
默认情况下,retry装饰器会在任何异常时触发重试。但你可以通过stop和wait参数来自定义重试的条件和等待时间。"""重试条件装饰器"""try:raise# 这里可以是任何可能失败的操作# 函数将在遇到异常时等待2秒后重试,最多重试3次。原创 2024-05-29 14:17:27 · 607 阅读 · 0 评论 -
Python库之PyQuery的高级用法深度解析
PyQuery是一个强大的Python库,它提供了类似于jQuery的语法来解析和操作HTML和XML文档。虽然PyQuery的基本用法已经相当直观,但本文将深入探讨一些高级用法,帮助开发者更高效地处理复杂的HTML文档。原创 2024-05-28 08:55:08 · 471 阅读 · 0 评论 -
Python库之PyQuery的简介、安装、使用方法详细攻略
PyQuery是一个强大的库,它提供了一种简单的方式来处理HTML文档。它使得Python中的HTML操作变得直观和易于理解,特别是对于那些熟悉jQuery的开发者来说。通过上述的使用方法,你可以开始使用PyQuery来解析和操作HTML文档了。原创 2024-05-28 08:52:12 · 814 阅读 · 0 评论 -
Python库之Scrapy的高级用法深度解析
Spiders:负责解析响应并提取数据,生成Item。Items:用于定义爬取的数据结构。Pipelines:处理Spider返回的Item,如清洗、验证、存储到数据库等。Engine:控制整个爬虫的数据流处理。Downloader:负责下载网页内容。Scheduler:调度下载任务,排队等待下载。:处理引擎与下载器之间的请求和响应。Scrapy作为Python中一个非常流行的爬虫框架,其高级用法可以极大地提升爬虫的性能和效率。原创 2024-05-24 09:17:26 · 603 阅读 · 0 评论 -
Python库之Scrapy的简介、安装、使用方法详细攻略
在Scrapy中,Item是一个Python类,用于定义爬取的数据结构。编辑文件来定义你的Item。# 定义其他字段...Scrapy是一个功能强大的爬虫框架,它提供了丰富的特性来简化爬虫的开发和维护。通过本文的介绍,你应该能够安装Scrapy、创建项目、定义Item、编写Spider、运行爬虫以及存储数据。Scrapy的学习曲线可能稍微陡峭,但一旦掌握,它将大大提高你的爬虫开发效率。原创 2024-05-24 09:14:49 · 847 阅读 · 0 评论 -
Python库之selenium的高级用法深度解析
持续集成(CI)是一种软件开发实践,通过自动化构建和测试来确保代码的质量。Selenium作为一个成熟的自动化测试工具,其强大的功能和灵活性使其在自动化Web测试领域占据重要地位。随着Web技术的不断发展,Selenium也在不断更新和改进,以适应新的测试需求。同时,新的工具如Puppeteer和Playwright也在为用户提供更多的选择。无论选择哪种工具,自动化测试的核心目标——提高软件质量、减少重复工作、加快测试速度——是不变的。原创 2024-05-23 09:40:07 · 1600 阅读 · 0 评论 -
Python库之selenium的简介、安装、使用方法详细攻略
Selenium是一个功能丰富的工具,它不仅可以用于自动化测试,还可以用于自动化网页交互和数据抓取。通过掌握Selenium的基本和高级用法,你可以构建强大的自动化脚本,提高工作效率。记得在使用Selenium时,要遵守网站的使用条款,尊重网站的版权和隐私政策。原创 2024-05-23 09:34:53 · 1459 阅读 · 0 评论 -
Python库之re的高级用法深度解析
深入理解re模块的高级用法,可以帮助你更有效地处理复杂的文本匹配和处理任务。记住,正则表达式是一种强大的工具,但也需要谨慎使用,以避免造成不必要的性能问题。原创 2024-05-22 09:20:31 · 403 阅读 · 0 评论 -
Python库之re的简介、安装、使用方法详细攻略
re模块是Python中处理文本的强大工具,通过正则表达式,你可以执行复杂的文本匹配、搜索、替换和分割操作。掌握正则表达式的基本语法和re模块的使用方法,将大大提高你在文本处理方面的效率和灵活性。原创 2024-05-22 09:18:05 · 1136 阅读 · 0 评论 -
Python库之Beautifulsoup的高级用法深度解析
Beautiful Soup默认使用Python内置的,但也支持其他解析器,如lxml的解析器,这可以提高解析速度并解决一些解析问题。# 使用lxml的解析器。原创 2024-05-21 10:06:03 · 346 阅读 · 0 评论 -
Python库之Beautifulsoup的简介、安装、使用方法详细攻略
Beautiful Soup是Python的一个用于解析HTML和XML文档的库,它能够通过你喜欢的解析器来自动将繁杂的HTML或XML文档转换成易于使用的数据结构。Beautiful Soup的速度非常快,而且非常灵活,支持多种解析器,如Python标准库中的HTMLParser,以及第三方库lxml和html5lib。原创 2024-05-21 10:03:06 · 897 阅读 · 0 评论 -
Python库之`lxml`的高级用法深度解析
lxml是一个功能强大的第三方库,它提供了对XML和HTML文档的高效处理能力。除了基本的解析和创建功能外,lxml还包含了一些高级用法,这些用法可以帮助开发者在处理复杂文档时更加得心应手。原创 2024-05-20 11:33:11 · 415 阅读 · 0 评论 -
Python库之lxml的简介、安装、使用方法详细攻略
详细解释HTTP请求头可以携带额外的信息,如用户代理、认证信息、内容类型等。在requests中,你可以通过headers参数自定义这些请求头。q=0.5',详细解释除了表单数据和文件,requests还允许你发送自定义的请求体,比如JSON格式的数据。这在使用API时特别有用,因为许多API都要求使用JSON格式。data = {本文详细介绍了requests。原创 2024-05-20 11:31:07 · 980 阅读 · 0 评论 -
浅浅记录一下对某音的X-Agus、X-Gorgon、X-Khronos、X-Ladon研究(仅学习使用)
前两年也对这个app进行了研究,那时候还没有什么加密参数。那说明该app java层面可能没有写相关的字符串。于是我hook了一下这个类的toString方法。发现该app走的不是正常的http/s协议。于是我hook了传输协议 就可以正常抓包了。近期比较闲,于是对该app进行了逆向研究。下面找到了加密点 那逆向起来就方便了。就找到了加密的方法,还是比较简单的。然后我用jadx反编译了该app。抓包后就发现多了好几个加密参数。变换参数之后就不能正常请求了。因此只能进行对app的逆向。原创 2023-03-10 10:17:57 · 1703 阅读 · 1 评论 -
聊一聊Python爬虫
其中,requests库用于发送HTTP请求,BeautifulSoup库用于解析HTML和XML文档,Scrapy是一款高效、灵活的网络爬虫框架,可用于大规模数据采集。Python爬虫技术的应用非常广泛,随着大数据和人工智能等技术的发展,Python爬虫技术的前景也越来越广阔。3.数据分析和挖掘:爬虫可以采集和整理大量的数据,用于数据分析和挖掘,例如社交媒体数据分析、航空航班数据分析等。5.反爬虫:爬虫也可以用于反爬虫,即通过构建爬虫的技术手段来识别和阻止恶意爬虫,保护网站数据的安全性和完整性。原创 2023-02-21 09:19:02 · 978 阅读 · 0 评论 -
极验三代四代成品
极验三代四代成品原创 2022-04-13 11:51:06 · 768 阅读 · 2 评论 -
Python零基础学习路线(2022最新版)
带你快速入门原创 2022-04-01 22:31:35 · 1245 阅读 · 0 评论 -
某点评app抓包
抓包后:原创 2021-03-21 13:23:56 · 1389 阅读 · 5 评论 -
查策网字体加密(最新版!)
转换前:转换后:原创 2021-02-22 21:32:26 · 489 阅读 · 5 评论 -
Python爬取微博热搜存入数据库并定时发送邮件,及时了解最新动态!
一、前言微博热搜榜每天都会更新一些新鲜事,但是自己处于各种原因,肯定不能时刻关注着微博,为了与时代接轨,接受最新资讯,就寻思着用Python写个定时爬取微博热搜的并且发送QQ邮件的程序,这样每天可以在不打开微博的情况下,时刻掌握着微博的最新动态资讯。废话不多说,下面直接上代码以及详细思路。二、代码及思路(1)首先肯定是对微博热搜进行爬取,这并不难,是个非常简单的爬虫。def getHTML(url): headers={ "User-Agent":"Mozill原创 2020-12-03 14:04:26 · 1168 阅读 · 1 评论 -
教你用Python轻松批量获取快手无水印视频以及详细信息!(侵权删)
一、前言前段时间,博主写过关于抖音视频、评论以及视频信息批量获取的文章,然后私下里有小伙伴让我也出个快手的批量获取视频、评论的博文,因为他遇到了快手抓不到包、连接不上网络的问题,既然是我的粉丝,那我就专门出一期文章来实现批量获取快手视频资源!二、分析过程不用说大家也知道,首先就是对app抓包啦,我们这边用的是fiddler,其他抓包工具也同理,我们用模拟器打开快手进行抓包。刚打开快手,fiddler就抓到了好多包,发现大部分是没用的,因此我们对这些包进行过滤,过滤后,我们需要的数据就自动高亮出来了原创 2020-09-21 20:17:55 · 2622 阅读 · 4 评论 -
Python爬取王一博高清图片,竟然如此简单!
用Python爬取王一博高清图片,竟然如此简单!最近图慌,闲来无事爬取博子哥的高清图片,当做手机壁纸也是不错的选择。废话不多说,下面上效果图:是不是很帅气呢?爬取的步骤也非常简单:1、获取目标网址。2、浏览器抓包,得到图片的具体url。3、通过Python编写代码,用requests模块对url发起请求,将图片下载到本地文件夹中。本文是通过面向对象的方法,代码更加稳定,想要多少张图片就能下载多少张图片。1、分析目标网站首先,要想爬取图片,第一步肯定是要分析目标网址,以此来获取图片的 u原创 2020-08-04 18:48:28 · 1827 阅读 · 6 评论 -
js逆向系列:企名片,获取js逆向后的真实数据!
一、进入企名片创业项目我们需要爬取如下数据首先,对该网页进行抓包,发现这些数据是通过post请求获得的。这是网站给我们返回的数据,为什么和网页上显示的不一样呢?分析后得出,这是经过js加密后的数据,为了防止爬虫,网页对数据进行了加密,因此我们需要破解这个js加密获取真实的数据。二、获取加密的js文件我们在开发者工具内搜索encrypt_data这个参数,很容易就找到了我们需要的js文件。下面就是进入该js文件进行断点调试。找到了可疑的代码行,我们在这边下断点进行调试。下面进入函数内部。原创 2020-09-13 16:11:39 · 723 阅读 · 4 评论 -
Python二级系列(六):用time库把系统的当前时间信息以“xx年xx月xx日xx时xx分xx秒”
import timet = time.localtime()print(time.strftime("%Y年%m月%d日%H时%M分%S秒"),t)原创 2020-09-04 19:02:54 · 1014 阅读 · 0 评论 -
Python二级系列(五): 对format方法的详解
题目:程序接收用户输入的五个数,以逗号分隔。将这些数字按照输入顺序输出,每个数字占10个字符宽度,右对齐,所有数字显示在同一行。例如:输入:23,42,543,56,71输出:23 42 543 56 71答案:num = input().split(',')for i in num: print('{:>10}.format(num)',end='')format方法:{<参数序号>:<格式控制标记>} 其中,格式控制标记包括:<填充&g原创 2020-09-04 12:39:30 · 4105 阅读 · 1 评论 -
js逆向系列:解决网页版微博登陆的js加密(2020.9.1最新版)
一、前言博主最近沉迷js逆向,向各网站开刀,于是决定拿比较经典的微博登陆js加密来作为案例给大家讲解一下。二、分析过程我们先从这个登录界面进行调试。先随便填写账号密码,找到登陆的请求接口。很容易就找到这个post请求,接下来分析他的表单。经过多次发送请求,发现以下几个参数是变动的:severtime,nonce,pubkey,rsaky,exectime,su,sp.因此我们要在控制台内搜索这几个参数,首先我搜索了pubkey,发现了pubkey等参数是已经存在的。这样就好办多了,只原创 2020-09-01 19:33:39 · 1112 阅读 · 6 评论 -
用python爬虫,pyinstaller写一个属于自己的彩虹屁生成器!(链接在文末自取)
效果图如下:实现方法用Python爬虫对现有的api进行请求,获取彩虹屁,然后用tkinter模块形成一个可视化的gui,最后用pyinstaller对该py文件打包,这就是最后的彩虹屁生成器。编写代码1、首先对api发起请求,获取彩虹屁def caihongpi(): url = 'https://chp.shadiao.app/api.php' headers = { 'user-agent':'Mozilla/5.0 (Windows NT 10.0; W原创 2020-08-30 11:01:34 · 2454 阅读 · 7 评论 -
Python二级系列(四):键盘输入两个整数,最小值和最大值,按要求输出两个整数之间的所有素数
素数又称质数,是指除了1和它本身以外不能被其他整数整除的数。lower = int(input("输入区间最小值:"))upper = int(input("输入区间最大值:"))for num in range(lower+1,upper): if num>1: for i in range(2,num): if (num%i) == 0: break else: print(num)...原创 2020-08-28 10:46:36 · 5126 阅读 · 0 评论 -
豆瓣影评爬虫:cutecharts数据可视化看看大家对八佰的评价如何
一、前言近期热播电影《八佰》,‘1937年淞沪会战的最后一役,“八百壮士”奉命坚守上海四行仓库,以少敌多顽强抵抗四天四夜。电影《八佰》由管虎导演,是亚洲首部全片使用IMAX摄影机拍摄的商业电影,将于2020年8月21日全国影院上映。’,豆瓣影评7.7分,今天我们用爬虫的方式,将豆瓣影评中的每位评价的星级爬取下来,最后再用cutecharts数据可视化,来看看这部电影是否值得观看。二、分析网站豆瓣影评部分,可以说是最基础的爬虫了,无任何反爬手段,我们需要的数据都在源代码之中,这里我通过xpath语法直接原创 2020-08-27 20:22:42 · 1671 阅读 · 4 评论 -
七夕专栏:看看大家都在干什么,对微博七夕超话的爬取
转眼又到了咱们中国传统的情人节七夕了,今天我通过爬取微博七夕超话的内容,来看看七夕这天大家都在干什么这边我们选取微博的手机端页面进行爬取,因为比网页端简单些,通俗易懂。从这个入口进入详情页面。(1.7万单身狗)接下来就是对网页的抓包了,还是老套路,很容易获取我们需要的内容。代码非常简单,这边就不放上来了。我将数据保存到了csv文件中,从昨天晚上12点到今天的下午4.30,我一共抓取到990条微博。为了清晰的看出大家在七夕这一天做什么,我讲这些微博纸做成了词云图其中,孤寡、单身、青蛙等关键词原创 2020-08-25 17:41:12 · 1418 阅读 · 4 评论 -
Python二级系列(三):按照乘法表的格式打印输出九九乘法表,并写入txt
fo = open('py202.txt','w')for i in range(1,10): for j in range(1,i+1): fo.write('{}*{}={}'.format(j,i,i*j)) fo.write('\n')fo.close()原创 2020-08-24 19:24:11 · 1168 阅读 · 0 评论