自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(142)
  • 收藏
  • 关注

原创 2024年9月python二级易错题和难题大全(附详细解析)(五)

5、仅使用 Python 基本语法,即不使用任何模块,编写 Python 程序计算下列数学表达式的结果并输出,小数点后保留3位。解析:exchange函数实现的是互换值的操作,x, y分别被换成了20, 10,本题选A。C、返回序列s的最大元素,如果有多个相同,则返回一个元组类型。D、返回序列s的最大元素,如果有多个相同,则返回一个列表类型。3、设序列s,以下选项中对max(s)的描述正确的是()B、返回序列s的最大元素,但要求s中元素之间可比较。1、关于函数的返回值,以下选项中描述错误的是()

2024-09-20 15:43:44 650

原创 2024年9月python二级易错题和难题大全(附详细解析)(四)

字符串是按照对应索引位置比较大小,从索引0开始,只要有一个索引分出了大小,便得到布尔值,字符串比较大小的规则是’0’ < ‘9’ < ‘A’ < ‘Z’ < ‘a’ < ‘z’。input()函数含有参数,用于提示用户输入,当用户输入信息时,使用回车也就是想换一行时,会停止输入,结束input()函数。解析:向函数传入实参8,函数的作用是返回x ** 2 + 6的结果,该函数是没有输出的,要想将返回值输出,需要调用print()函数。解析:当直接使用类名修改属性,会影响到已经实例化的对象,本题选C。

2024-09-19 21:00:28 311

原创 2024年9月python二级易错题和难题大全(附详细解析)(三)

因为列表的元素个数随着’D’元素的删除而减少,当删除第一个’D’元素之后,列表元素的个数即变为5,for循环又是控制循环次数的,因此只遍历5次,当第二个’D’元素删除时,循环结束。split()是一个字符串分隔的方法,把b根据o这个字符分隔为两个字符串,且返回的是列表类型,访问其中的元素需要用到索引访问。在计算机中,函数调用是通过栈这种数据结构实现的,每当进入一个函数调用,栈就会加一层栈帧,每当函数返回,栈就会减一层帧,由于栈的大小不是无限的,因此递归调用的次数过多,会导致栈溢出,C选项正确。

2024-09-19 17:51:46 217

原创 2024年9月python二级易错题和难题大全(附详细解析)(二)

当输入10时,执行try后面的语句,n=10,函数pow2()只进行了定义,但未进行调用,所以此时程序只执行了输入语句,函数不执行,语句运行正常,并不执行except后面的语句,故程序没有任何输出,本题选D。chr(x)函数返回Unicode值对应的字符,ord(x)函数返回单字符对应的Unicode值,如chr(1010)返回’c’,ord(‘和’)返回21644。解析:在Python中,算术运算符//表示整数除法,返回不大于结果的一个最大的整数,而/则表示浮点数除法,返回浮点数结果。

2024-09-18 22:54:07 391

原创 2024年9月python二级易错题和难题大全(附详细解析)(一)

为什么python相除的结果是整数,但是却带有小数位呢,这是因为整数的相乘、相加和相减结果一定是整数(正整数或负整数),不会产生小数,但即使是整数相除,也可能会产生小数,所以python会对相除结果进行智能转换,使结果数据类型变成float,至少带有一位小数。全局变量是在函数外定义的变量,局部变量实在函数内定义的变量,函数内可以直接访问全局变量,但函数内不可以直接修改全局变量,如需修改全局变量,需要使用global。可以发现,整数1011的十六进制字符串为‘0x3e9’,所以结果是False,答案是B。

2024-09-15 20:59:03 474

原创 js逆向--实现base64

【代码】js逆向--实现base64。

2024-09-08 22:44:22 249

原创 js逆向-实现哈希算法

同理,适用于sha1、sha256、sha512。md5加密后的16进制数据是32位,sha1加密后的16进制数据是40位,sha256加密后的16进制数据是64位,sha512加密后的16进制数据是128位。同理,适用于sha1、sha256、sha512。

2024-09-08 22:21:38 165

原创 python实战项目37:js逆向--cai招网

keywords=%E5%85%AC%E5%85%B1%E4%BD%8F%E5%AE%85,打开开发者工具进行抓包。将data作为参数传入AESDecrypt函数,打印。发现报错,变量variate未定义。回到开发者工具控制台,执行variate,将结果复制到js文件中,再执行发现得到正确结果。新建caizhao.js文件,将解密函数复制到js文件中,首先将函数稍作修改,函数名为AESDecrypt。在控制台打印JSON.parse,发现是解密后的数据,加密入口找到。分别下断点,刷新网页,发现断住了。

2024-09-06 17:59:37 1838

原创 js逆向--绕过debugger(二)

在debugger所在的行号处右键,点击“添加条件断点”,在对话框中输入1===0,回车,点击继续执行脚本,即可绕过debugger。在进入方法之前,下断点,刷新页面,在控制台将debugger所在的方法置空,可以绕过debugger。这种debugger方式的效果是,只要打开开发者工具,当前页面就会自动关闭。上一篇文章中,笔者已经介绍了4种方法,接下来介绍第5种方法。

2024-09-05 11:51:43 227

原创 js逆向--绕过debugger(一)

接下来点击开发者工具窗口最上方的“选择文件夹”,之后点击提示框中的“允许”。之后将本地文件中debugger所在的那一行代码注释或者删除,ctrl + s保存。点击之后刷新页面,发现debugger失效了,成功过掉断点。在debugger代码所在的行号右键,点击“一律不在此处暂停”,然后点击“继续执行脚本”按钮,即可过掉断点。安装最新版火狐浏览器,把“在调试语句上暂停”前面的√去掉,debugger就过掉了。在debugger所在的js文件的标题处右键,点击“替换内容”刷新页面,debugger已绕过。

2024-09-04 21:10:56 377

原创 python实战项目36:js逆向--某乐网登录

提示setMaxDigits未定义,进入到setMaxDigits所在的js文件中,将js代码全部粘贴到danglewang.js文件中。发现pwd的值是rsaPwd,分析密码是经过了rsa加密,往上找rsaPwd,在458行发现了rsaPwd=rsa(passwordVal)提示RSAKeyPair未定义,同上一步,继续扣代码。跟进到rsa方法所在的文件中。

2024-09-03 19:47:51 299

原创 js逆向--断点

开发人员可以通过在源代码中设置断点来控制程序执行流程。一旦程序执行到设置的断点位置,它就会在那里暂停,使得开发人员可以逐步执行代码、观察变量的值,并进行其他调试操作。

2024-09-02 19:49:59 254

原创 js调试--本地替换

点击箭头所指的“选择文件夹”。在弹出的窗口中,选择桌面,新建demo文件夹,点击“选择文件夹”。之后在浏览器的上方会弹出一个对话框,选择“允许”。这时在“替换”选项卡下会显示如下内容。如图所示,点击本地的index.html文件,将文件内容清空,替换为自己的内容,ctrl+s保存,这时刷新网页之后就替换为了自己的本地文件。在上图中的箭头位置右键,点击“替换内容”,这时会弹出一个提示。本地替换的作用就是将原本访问服务器的数据改成访问本地。

2024-09-02 17:58:49 629

原创 一文学会Beautiful Soup

简单来说,Beautiful Soup就是Python的一个HTML或XML解析库,可以用它来方便地从网页中提取数据。官方解释如下:Beautiful Soup提供一些简单的、Python式的函数来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为UTF-8编码。

2024-07-26 18:15:52 147 1

原创 xpath难点解析

要确定这个节点,需要同时根据class和name属性来选择,一个条件是class属性里面包含li字符串,另一个条件是name属性为item字符串,二者需要同时满足,需要用and操作符相连,相连之后置于中括号内进行条件筛选。这样通过contains()方法,第一个参数传入属性名称,第二个参数传入属性值,只要此属性包含所传入的属性值,就可以完成匹配了。有时候,我们在选择的时候某些属性可能同时匹配了多个节点,但是只想要其中的某个节点,如第二个节点或者最后一个节点,这时该怎么办呢?

2024-07-25 22:33:02 109

原创 python实战项目35:抓取猫眼电影排行

offset=10,比之前的URL多了一个参数,那就是offset=10,而目前显示的结果是排行11~20名的电影,初步推断这是一个偏移量的参数。因为我们需要爬取的是TOP100的电影,所以还需要遍历一下,给这个链接传入offset参数,实现其他90部电影的抓取,此时添加如下调用即可。我们要提取出猫眼电影TOP100的电影名称、时间、评分、图片等信息,提取的站点URL为http://maoyan.com/board/4,提取的结果会以文件形式保存下来。获取源代码后,就需要解析页面,提取出我们想要的信息。

2024-07-25 20:23:59 478

原创 python实战项目34:基于flask的天气数据可视化系统1.0

Flask是一个基于Python的Web开发框架,它以灵活、微框架著称,基于werkzeug的轻量级web框架,可提高web应用的开发效率。首先,需要实例化一个Flask对象,然后设置一个路由,路由就是处理url到Python函数之间关系的程序,在Flask框架中通过@app.route装饰器来表示。也就是说,客户端将请求发送给web服务器,web服务器再将请求发送给Flask程序示例,程序示例需要知道每个url请求要运行哪些代码,所以需要建立一个url到python函数的映射。

2024-07-25 16:16:24 1145

原创 python实战项目33:scrapy爬取城市天气数据

这里我们选择使用xpath表达式提取数据,打开weather.py,开始编写爬虫程序。第一步,构造url,使用for循环遍历所需爬取的城市和年月,并将构造出的url添加到start_urls列表中。第二步,编写parse函数,先使用xpath表达式取出所有的li标签,天气数据都在每一个li标签中。然后依次提取出所需的日期、最高温、最低温、天气情况、风力、风向等数据。首先,使用pycharm创建一个项目并打开该项目,创建的项目名称为scrapyProject。,这里的weather是spider的名字。

2024-07-25 10:53:56 914

原创 python实战项目32:实现数据分析师岗位可视化分析

使用拉钩网抓取的437条招聘信息,从多维度分析深圳数据分析岗位,了解数据分析师行业现状。

2024-07-10 16:16:12 294

原创 python实战项目31:selenium采集招标网站公告

本次数据采集以某市建设工程交易服务中心数据为例,网址为“http://www.shcpe.cn/jyfw/xxfw/u1ai51.html”,网站首页如下图所示:采集到的字段如下图所示:本次数据采集使用的是selenium自动化网页爬虫技术,首先,在使用selenium打开网页之后,发现所需要的数据在一个iframe中,iframe的作用是在网页中嵌入另外一个网页,需要使用selenium切换到iframe中才能获取到其中的数据。为了方便起见,我们通过浏览器的开发者工具抓包,找到我们所需数据所在的网页,

2024-07-10 11:15:21 1084

原创 python实战项目30:基于Python爬虫的城市二手房数据分析可视化

二手房具有价格普遍偏低、地理位置较好的优势。然而,随着城市化进程加快,二手房交易市场鱼龙混杂,如何找到合适的房源信息已成为难题。随着互联网技术的发展,人们开始通过交易网站来了解二手房信息,网络上存在大量的房源,使用Python爬虫技术从中爬取有用的数据,再进行统计和可视化分析,可以把冗杂的信息变得精简。本文旨在使用这种技术,分析上海市的二手房源数量和平均房价,从户型、面积等多个角度分析二手房市场现状,以方便购房者决策,也为政府干预房地产业提供参考。先来看一下数据的情况以及可视化图表。

2024-07-05 17:54:57 4947

原创 pyecharts可视化案例大全(21~30)

随机生成点数据# 自定义标记点data=[opts.MarkPointItem(name="自定义标记点", coord=[x_data[2], y_data[2]], value=y_data[2])]# 自定义图形# 添加自定义坐标点return geo# 设置半径范围,0%-100%return pie# 自定义数据标签return pie。

2024-07-05 15:44:26 298

原创 pyecharts可视化案例大全(11~20)

line.add_yaxis('样式1',curve=0,line.add_yaxis('样式2',curve=0.5,line.add_yaxis('样式3',curve=1,

2024-07-05 15:14:44 208

原创 pyecharts可视化案例大全(1~10)

自定义坐标轴标签,在年份后加上`年`axislabel_opts=opts.LabelOpts(formatter='{value}年')))return bar。

2024-07-04 22:25:19 146

原创 python实战项目29:基于Python爬虫的论文文献检索系统

要想快速、详细了解与所写论文相关的文献,掌握文献检索方法是重要的一环,只有选择了科学有效的检索方法,才可以快、精、准地获取大量所需要文献信息,提高检索效率。首先,需要实例化一个etree对象,将响应的内容作为参数传递到etree对象中,然后使用xpath表达式获取到文献的BibTeX格式的链接和文献的标题信息,把对应的链接和标题信息放到一个列表中。如果输入的是关键词的话,则处理前十条信息。在上图的函数中,还实现了对会议论文的booktitle的修改,实现了arxiv的论文格式中的journal内容的修改。

2024-06-30 21:34:19 1266

原创 Python操作MySQL数据库--使用pymysql模块

【代码】Python操作MySQL数据库--使用pymysql模块。

2024-06-27 22:35:04 166

原创 python实战项目28:boss直聘招聘数据爬取及可视化分析2.0

笔者在前两篇介绍boss直聘招聘数据爬取和可视化分析的博客的基础上,对代码和功能进行了完善。在数据爬取的模块,代码更加简洁易懂,且性能更加稳定;在数据可视化模块,分析角度更加多维,先来看一下可视化图表吧!

2024-06-27 17:45:47 1031

原创 python实战项目27:boss直聘招聘数据可视化分析

这里主要对薪水列进行处理,为方便处理,将日薪和周薪的数据删除,将带有13薪和14薪的数据也删除,计算出最低薪资、最高薪资和平均薪资三列。

2024-06-26 19:46:17 830

原创 python实战项目26:selenium爬取boss直聘招聘岗位数据

再来看一下boss直聘的页面,这时需要我们已经完成了城市的选择,将岗位名称输入到搜索框中,点击搜索之后切换到第2页。这时我们将url复制。使用selenium操作浏览器打开每一个页面之后,执行JavaScript代码将滚动条逐渐滑动至最底部,然后获取当前页面源代码,获取页面源代码之后提取页面中的数据。

2024-06-26 15:42:32 1518

原创 python实战项目:搜狗微信文章数据爬取可视化

这里使用pandas读取数据,读取之后先将发布时间一列转换为pandas的datetime格式,然后在利用datetime的时间访问器dt获取到年份和月份,格式化为“%Y-%m”的形式,再利用pandas的value_counts()函数对新生成的年月一列进行统计,统计的个数即为该月发表的文章的数量。按下F12召唤出浏览器开发者工具,刷新页面抓包,在network选项卡下找到第一个html文档类型的包,查看该数据包的Response,发现所需数据都在这个包中,请求头信息在Headers中。

2024-06-26 10:42:04 253

原创 Selenium、chromedriver安装配置

Selenium是一个自动化测试工具,利用它我们可以驱动浏览器执行特定的点击、下拉等操作。对于一些JS动态渲染的页面来说,这种抓取方式非常有效。

2024-06-24 22:43:11 830

原创 python实战项目24:抓取高考网图片

本次采集的目标是高考网(http://www.gaokao.com/gkpic/)的图片,实现图片自动下载。高考网主页如下图:爬取的流程包括寻找数据接口,发送请求,解析图片链接,向图片链接发送请求获取数据,最后保存数据。

2024-06-21 17:43:34 4871

原创 python实战项目23:爬取飞卢小说网免费小说

首先看一下我们需要爬取的飞卢小说网的免费小说《全民:开局邀请光头强挑战只狼》网址,如下图所示:点击第一章,按F12键打开浏览器开发者工具,再点击开发者工具左上角的小箭头,找到小说内容在网页中所在的位置,如下图所示:# 提取小说文字部分内容content = re.sub('【恭喜宿主.*', '', content).strip()接下来,回到目录页,找到章节url和标题所在的位置,如下图所示:# 获取目录页网页源代码# 提取所有章节的链接和标题links = []

2024-06-21 11:58:42 1215

原创 python实战项目22:基于Python爬虫的城市天气数据可视化分析

本项目爬取数据的目标网站是天气网(https://www.tianqi.com),爬取的是泰安市2022年的天气数据,使用pandas进行数据处理,使用pyecharts进行绘图。先来看一下绘制的几个可视化图表。天气轮播图:温度分布图:Python 是一种跨平台的计算机编程语言,具有解释性、变异性、交互性和面向对象的特点。相比使用其他语言,使用Python编写的代码结构清晰、可读性强、易于调试和扩展。Python拥有丰富的内置库和第三方库,可以满足各种需求。

2024-06-21 10:10:01 1592 1

原创 python实战项目21:多线程爬取书趣阁小说网小说

接下来,使用requests模块向这个数据包的地址发送请求,携带请求头headers,经测试,最好再多携带一个cookie参数。定义一个downloads函数,将q队列中的章节页url逐个取出,并向url发送requests的get请求,获取到数据之后用xpath表达式解析数据,存入txt文件中。如下图所示,以书趣阁小说网的其中一篇小说《斗破之无上之境》为例,目标是爬取该小说的所有章节内容,并把内容存储到一个txt文件中。

2024-06-20 21:51:30 479

原创 python实战项目20:scrapy爬取豆瓣书单存入MongoDB数据库

爬取的目标url是https://www.douban.com/doulist/45298673/,完整代码放在最后,使用命令。需要获取的字段有书名,评分,评论人数,作者国籍(未标明国籍的是中国),出版年。创建名为douban的爬虫,起始域名是douban.com。来创建scrapy项目,再通过命令。使用navicat新建数据库参照。MongoDB数据库的安装参照。MongoDB的添加数据参照。安装scrapy库。

2024-06-15 13:48:40 563

原创 Python实战项目19:爬取城市空气质量数据并写入mysql数据库

【代码】Python爬取城市空气质量数据并写入mysql数据库。

2024-06-10 13:48:58 433

原创 Python实战项目18:爬取城市空气质量数据

首先找到所有的tr标签,每一个tr标签下对应一天的空气质量情况,然后遍历每一个tr标签,tr标签下的每一个td标签对应的依次是日期、空气质量等级、AQI指数等数据,将数据依次提取出来,使用get_text()方法获取每一个td标签下的文本数据。这是一个get请求,在发送请求时需要携带cookie、User-Agent等参数,当然,后端服务器可能也会检测其它参数,具体需要哪些参数需要一一尝试,或者直接携带所有参数。数据的持久化保存使用的是python自带的csv库,保存数据至csv文件。

2024-06-07 22:49:47 1995

原创 python实战项目17:SVM模型实现城镇居民月平均消费数据分类

支持向量机是由感知机发展而来的机器学习算法,属于监督学习算法。支持向量机具有完备的理论基础,算法通过对样本进行求解,得到最大边距的超平面,并将其作为分类决策边界。支持向量机(Support Vector Machines, SVM)在解决小样本、线性、非线性及高维模式识别领域表现出特有的优势。SVM是一种研究小样本机器学习模型的统计学习方法,其目标是在有限的数据信息情况下,渐进求解得到最优结果。其核心思想是假设一个函数集合,其中每个函数都能取得小的误差,然后从中选择误差小的函数作为最优函数。

2024-06-06 22:51:45 304

转载 Python实战项目16:采集东方财富网股票数据建立LSTM模型预测

实验结果表明,LSTM模型在预测股票价格方面展现出了卓越的性能。预测价格与实际价格高度吻合,证明了模型在捕捉股票价格变化趋势方面的有效性。同时,模型在测试数据上取得了较低的损失值和较高的准确率(以1-MAPE衡量),具体数值为模型损失0.0006和模型准确率95.7%,进一步验证了模型的稳定性和可靠性。通过本次实验,我们可以得出以下结论:LSTM模型能够充分利用历史数据中的时间序列信息,有效地预测股票价格的未来走势。

2024-06-06 10:07:53 696

danglewang.js

danglewang.js

2024-09-03

基于flask的天气数据可视化系统

基于flask的天气数据可视化系统

2024-07-25

某年全国30个省区市城镇居民月平均消费.xlsx

某年全国30个省区市城镇居民月平均消费.xlsx

2024-06-06

hot-spicy pot.csv

hot-spicy pot.csv

2024-05-31

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除