- 博客(124)
- 收藏
- 关注
RSS订阅原创 【爬虫逆向】Python逆向采集猫眼电影票房数据
12 莫斯科行动 上映55天 1.2% 1.2 0.7% 6.62亿 3323 1.0%14 吾爱敦煌 上映6天 0.7% 0.7 0.6% 624.6万 4580 1.4%18 古庙迷杀 上映6天 0.6% 0.6 0.2% 102.4万 3455 1.1%
2024-03-17 20:54:56
1311
原创 *【艺恩娱数】Python爬虫+数据分析可视化中国影院票房*¶
这个里面的影院名称，省份，城市，票房，场次，人次，平均票价，天数，场均人次这些数据都是我们需要的。
2024-01-24 16:54:39
701
2
原创 头部首发优志愿头部u_sign生成与TLS指纹处理！ + 数据可视化技术讲解【Python爬虫】
'中国人民解放军战略支援部队', '共青团', '中国澳门特区政府', '中央办公厅', '司法部', '中国人民武装警察部队',array(['教育部', '中科院', '浙江大学', '工信部', nan, '中国共产党中央军事委员会', '公安部', '社科院','中国人民解放军海军', '市政府', '省政府', '国民委', '中国人民解放军陆军', '国卫委', '统战部','中国人民解放军空军', '交通运输部', '国体局', '省教育厅', '自治区政府', '海关总署',
2023-12-17 18:07:58
1353
原创 推荐收藏系列！2万字图解Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决海量数据的存储和海量数据的分析计算的问题。广义上来说，Hadoop 通常是指一个更广泛的概念——Hadoop 生态圈。可以实现服务器与服务器数据之间的拷贝命令 递归 要拷贝的文件名/名称 目的地用户/主机：目的的路径/名称上面介绍的复制命令scp是指把整个文件夹都拷贝过来，而同步是指对两个文件的差异部分进行更新。第一次同步等同于拷贝可以实现服务器与服务器数据之间的同步。
2023-10-22 21:43:12
274
原创 我用Python写了几个摸鱼小游戏，赐你2023年度上班上学摸鱼必备良品！（附源码）
对于摸鱼小游戏，必须分享出来，勤勤恳恳工作叫劳动报酬，摸鱼才是真正的赚钱
2023-10-10 20:48:25
521
原创 作为一名python开发者，想要兼职接单，需要学那些技术？要达到什么水准？为什么要学这些技术？
Python是一种简单易学、功能强大且应用广泛的编程语言，在各个领域中都有广泛的应用。作为一名Python开发者，学习并且兼职接单可以提供更多的机会，并增加收入。然而，在开始兼职之前，需要学习一些特定的技术，并且要达到一定的水准，以在竞争激烈的市场中脱颖而出。接下来，让我们详细分析你需要学习的技术、所需达到的水平以及为什么学习这些技术对你的职业发展非常重要。学好基础知识和语法、Web开发、数据科学与机器学习、项目管理与版本控制以及软技能与职业发展将使你在兼职接单领域中具备更多的优势和机会。
2023-09-12 20:52:15
293
原创 【Python脚本】轻松实现12306自动抢票脚本，100%成功，假期出行无忧！
不知道大家有没有之前碰到这样的情况，打算去某一个地方当你规划好了时间准备去买票的时候，你想要的那一列往往没有你想要的票了，尤其是国庆七天假和春节半月假，有时候甚至买不到规定计划时间内的票，真的是太烦躁了为此我钻研了一下，现在科技如此发达，想要实现自动化还是比较简单的Python配套案例源码、资料点击领取福利。
2023-08-25 13:47:59
20462
20
原创 Python安装解释器
首先，您需要从官方Python网站（https://python.org）下载Python解释器。PATH环境变量问题：如果在安装过程中没有选择“Add Python to PATH”选项，您将无法从命令行或终端中直接访问Python。安装过程太慢或中断：这可能是因为您的网络连接不稳定或Python官方服务器负载过重。解决方法是等待一段时间，并在网络稳定的情况下重新尝试安装。安装程序无法运行：某些Windows系统可能会阻止未经验证的安装程序的运行。安装Python解释器时可能会遇到一些常见的问题。
2023-07-10 21:16:17
783
原创 教你python破解滑块验证码！记得收藏！
有小伙伴们私信反馈说，在web自动化的过程中，经常会被登录的验证码给卡住，不知道如何去通过验证码的验证。今天专门给大家来聊聊验证码的问题，一般的情况下遇到验证码我们可以都可以找开发去帮忙解决，关闭验证码！我们自己有没有办法来处理这些验证码的问题呢？答案当然是有的，常见的验证码一般分为两类，一类是图文验证码，一类是滑块验证码！关于图文识别的验证码，之前已经出了相关的识别解决方案，今天就不做过多的介绍了，有兴趣的小伙伴可以领取配套的视频资料。今天我们主要来聊聊滑动验证码如何去识别破解。
2023-07-04 22:21:06
9524
4
原创 【Python脚本】Python轻松爬取歌曲，小白也能轻松上手操作！
音乐抓取是一种非常有趣和实用的技术，它可以让我们通过程序从互联网上获取音乐文件，比如MP3文件。在本案例文章中，我们将使用Python编写一个简单的音乐抓取程序，来演示如何使用Python进行音乐抓取。
2023-06-26 22:13:11
5971
原创 【Python脚本】Python自动大麦网抢票，准点原价秒杀演唱会门票，拒绝黄牛交易！从我做起！！！1
你是否错过了周杰伦的票，最近又没抢到五月天的票，不要太难过，今晚有张学友的票，后天还有张杰的票，加油哦！
2023-06-21 15:03:24
51497
103
原创 【超详细教学】Python制作迷宫小游戏教程
我将为你提供一个简单的迷宫小游戏的Python代码，并解释每个部分的作用，可以为你在工作之余可以堂堂正正的摸会小鱼。
2023-06-16 22:21:17
7865
4
原创 【源码可分享】教你用Python制作自动答题脚本，实现自动答题，100%正确率！
Python作为一种高级编程语言，已经成为了众多程序员的首选语言。Python具有简单易学、代码简洁、可读性强等特点，因此在各个领域都有广泛的应用。其中，自动化脚本是Python的一个重要应用领域之一。本文将介绍如何使用Python编写一个自动答题的脚本。点此跳转领取本文介绍了如何使用Python编写一个自动答题的脚本。自动答题的原理是通过程序模拟人的操作，自动完成答题过程。
2023-06-14 21:14:37
13605
2
原创 【Python爬虫】整站40万条房价数据并行抓取，可更换抓取城市
这次的爬虫是关于房价信息的抓取，目的在于练习10万以上的数据处理及整站式抓取。数据量的提升最直观的感觉便是对函数逻辑要求的提高，针对Python的特性，谨慎的选择数据结构。以往小数据量的抓取，即使函数逻辑部分重复，I/O请求频率密集，循环套嵌过深，也不过是1~2s的差别，而随着数据规模的提高，这1 ~2的差别就有可能扩展成为h。因此对于要抓取数据量较多的网站，可以从两方面着手降低抓取信息的时间成本。1）优化函数逻辑，选择适当的数据结构，符合Pythonic的编程习惯。
2023-06-11 21:18:46
763
6
原创 【Python爬虫+数据分析】采集电商平台数据信息，并做可视化演示
本文介绍了如何使用Python编写爬虫程序，抓取电商平台的商品信息、价格、评论等数据。通过本文的学习，您可以了解到Scrapy框架的基本使用方法，以及如何将抓取到的数据保存到MySQL数据库中。同时还可以学习到如何模拟浏览器的行为，抓取动态页面的数据。希望本文对您有所帮助。
2023-06-08 16:11:22
7226
7
原创 ChatGPT+Pandas 联手，打造智能数据分析助手PandasAI，数据分析师也要失业了？!
自然语言处理（NLP）是人工智能领域中的一个重要分支，它涉及到计算机对人类语言的理解和生成。在过去的几年中，NLP已经取得了巨大的进展，其中最重要的是深度学习技术的发展。在本文中，我们将介绍如何使用ChatGPT和Pandas进行自然语言处理。ChatGPT是一种基于Transformer的语言模型，由OpenAI开发。它是目前最先进的自然语言处理模型之一，可以用于各种任务，如文本生成、文本分类、问答系统等。Pandas是Python中的一个数据处理库，它提供了一种灵活的方式来处理和分析数据。
2023-06-06 14:08:01
1478
原创 用Python做兼职，轻松赚取零花钱，分享Python兼职经验
某家电商公司需要从竞争对手的网站上获取商品信息，以便更好地了解市场情况和竞争对手的策略。由于该公司没有专门的技术团队，因此他们需要找一家专业的爬虫服务公司来帮助他们完成这项任务。作为一家专业的爬虫服务公司，我们接到了这个任务，并决定使用Python来开发爬虫程序。Python助学福利Python助学大礼包Python爬虫是一种非常有用的技术，可以帮助我们从互联网上获取各种数据，以便更好地了解市场、竞争对手、用户需求等信息。
2023-06-04 17:19:27
315
原创 【Python教学】Python兼职有哪些？给你们分享一下最适合学生党/工作党的Python兼职攻略以及接私活经验
Python是一种高级编程语言，它具有简单易学、代码可读性高、功能强大等特点，被广泛应用于数据分析、人工智能、Web开发等领域。Python的优点在于它的语法简单，易于理解，同时也有大量的第三方库和工具，可以帮助我们快速地完成各种任务。接单流程&派单福利 点此跳转Python作为一种高级编程语言，具有简单易学、代码可读性高、功能强大等特点，被广泛应用于数据分析、人工智能、Web开发等领域。Python兼职的种类非常多，包括数据分析师、机器学习工程师、Web开发工程师、自然语言处理工程师、爬虫工程师等。
2023-05-30 14:20:02
358
原创 使用Python实现微信自动回复，操作简单，小白也会使用！秒回女朋友消息 泰裤辣！
通过以上代码和教程，我们可以实现微信自动回复的功能。可以根据自己的需求，使用正则表达式匹配关键词或使用图灵机器人API实现智能回复。
2023-05-29 14:53:24
8014
8
原创 【Python爬虫】urllib模块：强大的网络爬虫利器，让你轻松获取万千信息！
urllib模块是Python标准库中的一个模块，它提供了一系列的方法和类，可以帮助我们进行URL处理、文件上传、cookie处理、代理设置等操作。这个方法用于打开一个URL地址，并返回一个类似于文件的对象。我们可以通过这个对象来获取网页的内容。
2023-05-25 14:39:53
560
1
原创 Python 萌新 - 花10分钟学爬虫
Python 新手入门很多时候都会写个爬虫练手，本教程使用 Scrapy 框架，帮你简单快速实现爬虫，并将数据保存至数据库。在机器学习中数据挖掘也是十分重要的，我的数据科学老师曾经说过，好算法不如好数据。
2023-05-23 14:57:43
1390
2
原创 Python常见面试题. Python中的解包操作及其应用场景
这是个简单的知识点，但有的同学并不理解unpacking解包解，对应的是*或者**，也有自动解包之说包对应的可迭代对象。
2023-05-21 20:04:48
970
原创 【爬虫逆向】Python加密算法大揭秘：应用场景与实现技巧
在我们进行js逆向的时候. 总会遇见一些我们人类无法直接能理解的东西出现. 此时你看到的大多数是被加密过的密文.今天在这里教大家各种加密的逻辑。
2023-05-16 14:45:53
1269
1
原创 如何自己搭建Scrapy爬虫框架
当你学了一段时间爬虫后，就会知道各种功能太多而且麻烦。还不如自己整理个框架方便的多。因此，从开始写爬虫程序开始，就会慢慢的接触到一些有关爬虫的框架、效率提升而且扩展也很方便。接下来我将会以Scrapy爬虫框架将我的学习过程记录下供大家参考指正。
2023-05-12 15:16:33
1010
原创 10个Python完整小项目入门爬虫实例
代码中给出了注释，并且可以直接运行。如何安装requests库(安装好python的朋友可以直接参考，没有的，建议先装一哈python环境这里也给朋友们提前准备了windows用户，Linux用户几乎一样:打开cmd输入以下命令即可，如果python的环境在C盘的目录，会提示权限不够，只需以管理员方式运行cmd窗口Linux用户类似(ubantu为例): 权限不够的话在命令前加入sudo即可。
2023-05-10 16:00:41
1818
原创 Python使用XPath解析HTML的方法详解
XPath是一种用于选择XML文档中节点的语言，它可以通过路径表达式来定位节点。由于HTML文档的结构与XML文档类似，XPath也可以用于解析HTML文档。Python是一种非常流行的编程语言，它提供了许多库用于解析HTML文档。本文将介绍Python中使用XPath解析HTML文档的方法和技巧。Python学习福利。
2023-05-09 15:39:06
1966
原创 【PYTHON】绘制热力图SEABORN.HEATMAP
sns.heatmap(x, mask=x < 1, ax=ax2, annot=True, annot_kws={“weight”: “bold”}) #把小于1的区域覆盖掉。设置坐标轴刻度参数，”axis”不写的时候，默认是x轴和y轴的参数同时调整。cmap=“OrRd”：深红色到浅红色，类似“Oranges”。cmap=“hot”：黄色到红色，数字越大，颜色越浅。cmap=“gist_rainbow”：彩虹色。将x轴刻度放置在top位置的几种方法。cmap=“greys”：灰色。
2023-05-08 14:40:44
7596
原创 学Python常逛的10个网站
最全面的Python学习网站非官方文档莫属，它不仅提供了下载安装教程、基础语法教程、标准库、模块、各类术语解释、API接口等内容，还准时更新Python最新版本的变化信息，以及常见问题答疑。Chatgpt是非常火的AI对话工具，区别于以往任何的类似产品，我试过用Chatgpt写爬虫、游戏、算法，表现得都非常好，虽然有错误但是可以去调校它，最终会给你满意的代码。Medium的技术文章质量，不管放国内国外都是数一数二的，给我的感觉是博主们都在认认真真写作，有思考的深度，而不是耍大刀、博眼球。
2023-05-06 15:11:00
958
1
原创 Python爬虫-xpath方法爬虫技术分享，更高效，代码简洁！
通过Xpath 获取文档的对象，获取到对象后，可以通过文档的对象去去获取到树中的元素。xpath 的思想是通过 路径表达 去寻找节点。节点包括元素，属性，和内容。用| 连接两个表达式，可以进行 或匹配。获取某电影网站电影名称、简单描述、图片。/ 根节点，节点分隔符，
2023-05-05 14:25:21
919
原创 深入理解Python中的进程与线程
今天我们使用的计算机早已进入多CPU或多核时代，而我们使用的操作系统都是支持“多任务”的操作系统，这使得我们可以同时运行多个程序，也可以将一个程序分解为若干个相对独立的子任务，让多个子任务并发的执行，从而缩短程序的执行时间，同时也让用户获得更好的体验。因此在当下不管是用什么编程语言进行开发，实现让程序同时执行多个任务也就是常说的“并发编程”，应该是程序员必备技能之一。为此，我们需要先讨论两个概念，一个叫进程，一个叫线程。
2023-05-04 20:31:29
1023
转载 本文带你完全掌握Python中super()函数的用法和原理
注意，这里的 self 也是当前 C 的实例，MRO 列表跟上面是一样的，搜索 A 在 MRO 中的下一个类，发现是 B，于是，跳到了 B 的 init，这时会打印出 enter B，而不是 enter Base。其实，在上面的情况下，super 获得的类刚好是父类，但在其他情况就不一定了，super 其实和父类没有实质性的关联。从上面的运行结果可以看出，基类Base的构造函数被调用了两次，这是有问题的，正常的应该是：A的构造函数调用一次，B的构造函数调用一次，基类Base的构造函数调用一次。
2023-05-03 19:50:35
2831
2
原创 数据分析实战：使用Pandas进行Python数据处理
在数据分析领域，Python的Pandas库是一个非常强大的工具。这篇文章将为大家详细介绍如何使用Pandas进行数据分析，希望对大家有所帮助
2023-05-01 04:30:00
1082
原创 如何通过筛选高质量爬虫IP提升爬虫效率？
对于做数据抓取的技术员来说，如何稳定高效的爬取数据ip库池起到决定性作用，对于爬虫ip池的维护，可以从以下几个方面入手：
2023-04-28 15:35:36
1520
原创 Python常用库：掌握这些库，轻松提升你的编程能力！
Python常用库是Python编程中必不可少的工具，掌握好这些库能够极大地提升你的编程能力。例如，NumPy可以帮助你进行数值计算和科学计算，Pandas可以帮助你进行数据分析和处理，Matplotlib可以帮助你进行数据可视化和图形绘制，Scikit-learn可以帮助你进行机器学习和数据挖掘等。如果你想成为一名优秀的Python程序员，那么掌握这些常用库是必不可少的。
2023-04-26 15:51:44
1352
3
原创 Python requests模块：发送HTTP请求和处理响应
爬虫是什么？；爬虫就是程序—>从互联网中，各个网站上，爬取数据【前提是：你能浏览的页面才能爬】，做数据清洗，保存到数据库的过程。爬虫本质：模拟方式发送http请求、然后获取数据、再做数据清洗、最后保存到数据库爬虫的重点：如何发送http请求？如何解析数据？模拟发送http请求(requests模块、selenium)反扒(封IP：IP代理、封账号：cookie池)解析数据(bs4)入库(保存到MySQL、Redis等数据库以及普通文件)爬虫框架(scrapy)
2023-04-25 16:21:44
1065
原创 Python多线程爬虫为何效率低下？解析原因并提高爬虫速度的方法
单线程和多线程进行数据抓取结果还是大有不同的，但是要值得注意的事，如果多线程没调配好可能连单线程的效率都比不上。本次就和大家一起聊一聊单线程多线程的一些需要注意的事项。
2023-04-23 21:31:18
1116
原创 如何优化Python网络爬虫，提高爬取速度？
爬虫可以从获取网页、解析网页、存储数据来实现一些基本的。现在记录一些进阶部分：提升爬虫速度，主要有3中方法：多线程爬虫、多进程爬虫、多协程爬虫。对比普通单线程爬虫，使用这3种方法爬虫的速度能成倍的提升。
2023-04-21 16:46:17
2272
原创 50 个加速包都抢不到车票，还不如这个 Python 抢票神器！
五一劳动节即将到来，许多人已经开始计划自己的假期。然而今年的五一假期可能会更加紧张和有挑战性。抢票成为了许多人最为关注的问题之一。在这篇文章中，我们将探讨一些抢票的技巧和策略，帮助大家更好地应对五一抢票的挑战。
2023-04-20 21:40:15
189
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人