- 博客(398)
- 收藏
- 关注
RSS订阅
原创 python是什么？工作前景如何？怎么算有基础？爬数据违法嘛？。。
前言随着python越来越火爆并在2021年10月，语言流行指数的编译器Tiobe将Python加冕为最受欢迎的编程语言，且置于Java、C和JavaScript之上，越来越多的人了解python.但是，很多人都会疑惑：它凭什么这么火爆呢？学了它能干什么?它真的有这么厉害吗?在这些问题中，我把一些问的比较多的，大家比较关心的问题在文章里简单的阐述一下，希望能给大家带来帮助。一、Python目前的就业领域有哪些 ？工作前景如何？Python 目前的就业领域主要有这么几个：1、 web开发对于
2022-04-20 19:16:03
8391
30
原创 Python采集二手车数据信息实现数据可视化展示
可以直接在开发者工具中复制 -> 点击数据包 -> 标头(headers) -> 请求标头(request。获取响应二进制数据 常用于保存数据 (图片 / 音频 / 视频 / 特定格式文件…
2024-02-27 14:05:39
1858
原创 Python实现歌曲下载程序, 打包exe应用程序
1. 明确需求 明确采集的网站以及数据内容 (实现什么样程序)程序功能: 通过关键字(歌手/歌名) 进行歌曲搜索, 然后进行对应歌曲内容下载
2024-02-23 16:28:14
1048
原创 python中那些双下划线开头得函数和变量
以单下划线开头_foo的代表不能直接访问的类属性，需通过类提供的接口进行访问，不能用from xxx import *而导入；要重建序列化对象，Python 需要创建一个和被序列化的对象看起来一样的新对象，然后设置新对象的所有属性。方法允许将 color 列为可用属性，对于想使用你的类但却不想深入其内部的人来说，该方法非常有益。“双下划线” 开始的是私有成员，意思是只有类对象自己能访问，连子类对象也不能访问到这个数据。如果要创建自己的类，且对象之间的比较有意义，可以使用下面的特殊方法来实现比较。
2024-02-22 16:31:21
1109
原创 解锁VIP会员漫画：用Python爬虫轻松实现高清漫画下载
requests >>> pip install requests 数据请求模块。parsel >>> pip install parsel 数据解析模块。通过关键字找到对应数据包: 存在一个数据包含了整章漫画内容数据 (41张图)例如: requests >>> pip install requests。发送请求: requests模块 根据开发者工具提示请求方法去发送即可。
2024-02-19 16:39:03
1825
原创 Python基础教程：解构
3、4、5 和 6 被统一 打包 给了 c，打包 后的数据以 列表 的形式储存。躲起来的星星🍥也在努力发光，你也要努力加油（让我们一起努力叭）。这种将等号右面的数据分别赋值给等号前面的变量的方法，就是解构。需要注意的是，字典在进行迭代操作时，只会返回键，而不会返回值。结构时，等式左边的变量数要和右边的元素数目相等，否则就会报错。我们得到的是一个键值对列表，每个键值对以元组的形式存在。可以看出，10 和 20 的值分别被赋给了 a 和 b。虽然能够实现，但是十分繁琐，这就需要用到结构的方法。
2024-02-18 13:54:26
434
原创 range函数用法完全解读
可以获得迭代器的内置方法很多，例如 zip() 、enumerate()、map()、filter() 和 reversed() 等等，但是像 range() 这样仅仅得到的是可迭代对象的方法就绝无仅有了（若有反例，欢迎告知）。问题的关键就在于 range 序列的 pattern，仔细想想，其实它表示的就是一个等差数列啊，拼接两个等差数列，或者重复拼接一个等差数列，想想确实不妥，这就是为啥 range 类型不支持这两个操作的原因了。
2024-01-30 16:48:42
1428
原创 Python采集微博评论数据，让评论告诉我们最近热议话题
win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)键值对取值: 根据冒号左边的内容[键], 提取冒号右边的内容[值] 第一页链接参数改成和后面链接参数一样 查看是否能够请求。发送请求: 模拟浏览器对于url地址发送请求。模拟浏览器 (字典: 构建完整键值对)解析数据: 提取我们需要的数据内容。保存数据: 保存数据即可。
2024-01-29 14:15:30
884
原创 Python爬虫案例展示：实现花猫壁纸数据采集
win + R 输入cmd 输入安装命令 pip install requests 安装即可。获取数据: 直接获取图片二进制数据。请求网址 (下载图片的地址)
2024-01-29 13:00:00
705
原创 python读取文件指定行的三种方法
本文通过4个测试案例分析了在python中读取文件指定行内容的方案，并得到了一些运行耗时的数据。从需求上来说，如果是对于小规模的数据，比如几百行规模的数据，建议使用readline循环遍历来操作，速度也相当不错，或者是linecache中的函数实现也是可以的，甚至可以直接用readlines将整个文本内容加载到内存中。但是对于数据规模比较大的场景，比如超过了千万行的级别，那么使用sed指令的方式对指定行内容进行读取的方式，应该是所有方式中最快速的。
2024-01-28 14:15:00
2551
原创 Python中通过字符串访问与修改局部变量
Python本身是一门比较灵活便捷的编程语言，但是便捷往往有可能伴随着一些风险，比如exec和eval等内置函数的实现，有可能导致sandbox escaping的问题。而有时候我们又需要一些批量化的操作，比如批量化的创建或者修改局部、全局或者是成员变量，这样就需要我们首先要把所有的变量名存成字符串，在需要的时候再作为变量名去调用。在这篇文章中，我们介绍了一系列非exec和eval的操作（并不是说没有风险，也引用了ctype和sys定义的数据帧），来查看和定义、修改所需的各种变量。
2024-01-27 15:23:47
946
原创 Python批量采集亚马逊商品数据
DrissionPage是第三方模块，win + R 输入cmd 输入安装命令 pip install DrissionPage安装即可，re 是自带的模块，无需安装。pycharm 随便 配置 python解释器。python 3.8 解释器, 运行代码。
2024-01-24 15:25:16
1421
原创 python基础小知识：引用和赋值的区别
通过引用，就可以在程序范围内任何地方传递大型对象而不必在途中进行开销巨大的赋值操作。不过需要注意的是，这种赋值仅能做到顶层赋值，如果出现嵌套的情况下仍不能进行深层赋值。赋值与引用不同，复制后会产生一个新的对象，原对象修改后不会影响到新的对象。如果在原位置修改这个可变对象时，可能会影响程序其他位置对这个对象的引用
2024-01-22 15:06:17
432
原创 python爬虫知识点：5种线程锁
递归锁是同步锁的一个升级版本，在同步锁的基础上可以做到连续重复使用多次acquire()后再重复使用多次release()的操作，但是一定要注意加锁次数和解锁次数必须一致，否则也将引发死锁现象。条件锁是在递归锁的基础上增加了能够暂停线程运行的功能。并且我们可以使用wait()与notify()来控制线程执行的个数。注意：条件锁可以自由设定一次放行几个线程。事件锁是基于条件锁来做的，它与条件锁的区别在于一次只能放行全部，不能放行任意个数量的子线程继续运行。
2024-01-20 15:27:23
1248
原创 python爬虫之JS逆向基础小案例：网抑云数据获取
win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源) 编辑器: pycharm 2022.3。requests >>> 数据请求。解释器: python 3.8。
2024-01-19 14:42:33
1091
原创 Python基础学习：同步异步阻塞与非阻塞
在了解其他概念之前，我们首先要了解进程的几个状态。就绪，运行和阻塞。就绪(Ready)状态：当进程已分配到除CPU以外的所有必要的资源，只要获得处理机便可立即执行，这时的进程状态称为就绪状态。执行/运行（Running）状态当进程已获得处理机，其程序正在处理机上执行，此时的进程状态称为执行状态。阻塞(Blocked)状态正在执行的进程，由于等待某个事件发生而无法执行时，便放弃处理机而处于阻塞状态。引起进程阻塞的事件可有多种，例如，等待I/O完成、申请缓冲区不能满足、等待信件(信号)等。
2024-01-18 14:41:30
923
原创 Python中重要的条件语句教程
1、 if语句语法if 条件 : 条件成立执行的代码if 条件 : 条件成立执行的代码 else : 条件不成立执行的代码3、 多重判断if 条件1:条件1成立执行的代码elif 条件2:条件2成立执行的代码else:以上条件都不成立执行的代码4、 if嵌套if 条件1:条件1成立执行的代码if 条件2:条件2成立执行的代码....
2024-01-17 13:47:39
914
原创 【python】某牙小姐姐在线抓取，多个视频翻页下载
requests是第三方模块，win + R 输入cmd 输入安装命令 pip install requests 安装即可，re 是自带的模块，无需安装。发送请求 -> 模拟浏览器对于url地址发送请求。保存数据 -> 获取视频数据保存本地文件夹里面。播放效果我就不展示了，影响不好，大家自行观看~requests ——>数据请求。Python 3.10 解释器。re ——>正则表达式模块。Pycharm 编辑器。
2024-01-15 19:17:52
443
原创 写代码时遇到反爬了要怎么做？注意以下几点！【python】
有些网站为了防止爬虫程序的访问，会封禁爬虫程序所在的 IP 地址，我们可以通过使用代理 IP 来实现每次访问使用不同的 IP 地址，从而避免被封 IP。需要注意的是，尽管以上方法可以提高爬虫程序的稳定性和可用性，但任何爬虫行为也都具有一定的风险，因此在进行爬虫爬取时，请务必遵守相关的法律法规，不要进行未经授权的爬虫行为，以免带来不必要的法律风险。有些网站会检测爬虫程序的访问行为，例如请求频率、referer 等，我们可以使用模拟用户的访问行为，例如增加访问间隔、设置 referer 等，来避免被检测。
2024-01-12 15:06:37
1268
原创 python 和shell 变量互相传递
主要介绍python和shell变量互相传递方法，使用了环境变量、管道等方法。在hello.py中通过返回值 让shell脚本通过参数来判断，shell脚本中执行python脚本并接收其返回值的例子。
2024-01-10 15:08:53
493
原创 Python采集微博评论做词云图
1. 发送请求 -> 模拟浏览器对于url地址发送请求 2. 获取数据 -> 获取服务器返回响应数据 3. 解析数据 -> 提取评论内容 4. 保存数据 -> 保存本地文件 (文本 csv Excel 数据库)
2024-01-08 18:36:52
548
原创 Python中列表和字符串的反转
以上就是关于Python中列表和字符串的反转操作（这才是冰山一角，还有更多的实现方式），实际应用中还是使用列表自带的函数和切片操作进行反转即可，手写的仅供参考使用，写代码嘛，怎么简单易懂怎么来。把返回的元组放到一个新的列表中，通过sorted() 进行列表排序（根据列表中元组元素的第一个元素进行排序，使用降序）关于字符串的反转，并没有确切的函数对字符串进行反转，但是字符串也可以使用切片进行反转。遍历排序后的新列表，取每个元组元素的第二个元素，组成新列表。通过字符串拼接，把切片得到的元素拼接到新的字符串中。
2024-01-06 15:18:40
810
原创 python使用selenium操作浏览器的教程
我们使用selenium进行自动化测试时，打开浏览器之后，第一步就是让浏览器访问我们指定的地址，可使用get方法实现。如，在百度搜索框中输入selenium并点击搜索，然后点击返回按钮后再点击前进按钮，实现如下。本段代码表示在输入框中输入selenium后，再点击百度一下进行搜索，3秒后再返回百度首页。本段代码表示在输入框中输入selenium后，再点击百度一下进行搜索，然后返回操作，如，在百度搜索框中输入selenium并点击搜索，然后点击返回按钮，实现如下。
2024-01-04 15:46:20
1074
原创 Python实现简单的JS逆向解密, 实现翻译软件+语音播报
win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)- 翻译接口: https://fanyi.baidu.com/v2transapi?躲起来的星星🍥也在努力发光，你也要努力加油（让我们一起努力叭）。通过开发者工具 分析 --> JS代码那块生成出来 通过python代码执行js代码, 获取sign值。如果有翻译接口 --> 抓包分析。sign --> 参数是改变的。
2024-01-02 17:01:03
906
原创 Python使用selenium自动爬取苏宁易购商品数据
python 3.8pycharm 专业版selenium谷歌浏览器浏览器驱动人是怎么操作浏览器的 那么代码就怎么写。
2023-12-27 13:47:14
881
原创 Python爬虫小案例：获取微信公众号(客户端)内容
pycharm 辅助敲代码。requests 第三方模块。python 3.10 运行代码。
2023-12-23 14:51:06
695
原创 python多线程中：如何关闭线程？
当主线程调用event对象的 set() 方法后，在子线程循环体内，调用event对象is_set()方法，发现event 对象为True后, 立即退出任务循环，结束运行。子线程执行其任务循环，它每次循环都会检查event对象，该对象保持 false，就不会触发线程停止。子线程，可使用 event.wait() 将阻塞当前子进程，直至event 对象被置为true.is_set() 查询 event 对象，如被设置为真，则返回True, 否则返回False.
2023-12-20 15:37:46
565
原创 python采集电影数据JS逆向, 并制作可视化
win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)“”“1. 发送请求 -> 模拟浏览器对于url地址发送请求”“”“”“2. 获取数据 -> 获取服务器返回响应数据”“”“”“3. 解析数据 -> 提取我们数据内容”“”“”“保存数据”“”
2023-12-18 15:30:01
1192
原创 python数据分析小案例：天猫订单数据综合分析
买家实际支付金额：总金额 - 退款金额（在已付款的情况下）。金额为0（在未付款的情况下）买家实际支付金额：总金额 - 退款金额（在已付款的情况下）。金额为0（在未付款的情况下）那么这个的话就是我们的一个漏斗图，我们可以看到天猫的一个总体转化率还是非常高的对吧。躲起来的星星🍥也在努力发光，你也要努力加油（让我们一起努力叭）。退款金额：付款后申请退款的金额。退款金额：付款后申请退款的金额。所以说像这个天猫他的一个对于商品的推荐还是做的非常不错的。[‘付款订单数’, ‘24087’]
2023-12-09 16:26:03
561
原创 用python找到音乐数据的位置，并实现音乐下载
json(): 获取json数据 并转为字典 ({“”: “”,“”: “”,“”: “”,“”: “”}).content: 获取二进制数据 (保存图片/音频/视频的时候使用)这些需求可以用什么技术实现?.text: 获取文本内容 (字符串数据)非结构化数据: 网页源代码, 无规则的数据。结构化数据: JSON数据。
2023-12-05 16:19:54
1281
原创 Python中format函数用法
format是python2.6新增的一个格式化字符串的方法，相对于老版的%格式方法，它有很多优点。foramt会把参数按位置顺序来填充到字符串中，第一个参数是0，然后1 ……躲起来的星星🍥也在努力发光，你也要努力加油（让我们一起努力叭）1.不需要理会数据类型的问题，在%方法中%s只能替代字符串类型。同一个参数可以填充多次，这个是format比%先进的地方。4.官方推荐用的方式，%方式将会在后面的版本被淘汰。也可以不输入数字，这样也会按顺序来填充。（1）通过位置来填充字符串。
2023-12-04 15:27:03
432
原创 Python一键采集京*东商品数据，保存表格，零基础也能学会
win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)解析数据 (提取数据 将我们需要的内容提取出来 不需要的 丢弃)躲起来的星星🍥也在努力发光，你也要努力加油（让我们一起努力叭）。requests >>> 发送请求 第三方库 (需要安装)parsel >>> 第三方库 用来提取网页源代码的。time >>> 内置模块 无需安装。csv >>> 内置模块 无需安装。pycharm 专业版。
2023-12-02 15:35:09
536
原创 理解 Python 的 for 循环
然而要注意一点，在像 list 这样的容器对象上调用 iter() 每次都会返回不同的迭代器，而在迭代器上调用 iter() 仅仅返回同一个迭代器。最后，我们将反编译一个简单的 for 循环，并逐步介绍 Python 解释器在执行 for 循环时执行的指令，以满足大家的好奇心。else 子句中的代码块是在 for 循环完成后才开始执行的，即在迭代对象中的所有元素都遍历完毕之后。基本上，如果我们将对象传递给内置的next() 方法，它应该从与之关联的流式数据中返回下一个值。
2023-12-01 14:53:25
1532
转载 Python Flask Web 框架入门
这份文档中的代码使用 Python 3 运行。是的，所以读者需要自己在电脑上安装Python 3 和 pip3。建议安装最新版本，我使用的是Python 3.6.4。安装方法，可以自行谷歌或者百度。建议在 linux 下实践本教程中命令行操作、执行代码。要处理HTTP错误，可以使用flask.abort函数。代码page_unauthorized函数返回的是一个元组，401 代表HTTP 响应状态码。如果省略401，则响应状态码会变成默认的 200。
2023-11-29 15:46:02
155
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人