- 博客(56)
- 收藏
- 关注
原创 xpath解析实战——爬取《少有人走的路:心智成熟的旅程》
同理,content = tree1.xpath("/html/body/div[2]/div[4]/div//text()")得到的也是列表,所以在写入文件里要这样写。因为li.xpath("./a/text()")返回的是列表,即使只有一个元素,也要加上[0]才能取列表里的值。f.write(i.strip()) 或者写f.write(content[0].strip())1、为什么title=li.xpath("./a/text()")[0].strip()要加[0]?时,遇到了无法编码的字符。
2024-08-16 14:40:38
256
原创 python爬虫入门(六)之 xpath 解析
XPath(XML Path Language)是一种用于在 XML 文档中查找信息的语言。html是xml的一个子集(XML 允许用户创建自己的标签来描述数据。例如,<book><title><author>是 XML 标签,可以用于描述书籍信息)。Xpath可以用来遍历 XML 文档的节点、选择节点,或对节点进行条件筛选,实际上它就是靠节点之间的关系去查找内容。
2024-08-16 00:28:12
738
原创 bs4解析实战——爬取优美图库的图片
用于获取响应的文本内容,适用于 HTML、XML、JSON 等文本数据。:用于获取响应的原始二进制内容,适用于图片、音频、视频等二进制文件。是一个负索引,用于从序列(如列表、字符串)中从末尾开始访问元素。类型),通常在处理网页内容、API 返回的数据时使用。模块是 Python 的标准库之一,提供了。各种文件和目录操作、环境变量访问、路径操作。类型),这对于文件下载和保存是必需的。1、为什么在下载和保存图片时,使用。(图片的 URL)按斜杠。:获取列表中的最后一个元素。在 Python 中,-1。
2024-08-15 16:03:16
375
原创 Excel函数基础(二)
找出特定字符在文字中的顺位,如果有多个则只显示第一个所在位置 FIND(要查找的字符,文本所在单元格,[ 从第几个字符开始搜寻 ] )MID(截取范围(文本单元格),准备提取的第一个字符的位置(从1开始),要提取出来的字符串长度) 即。find返回的是特定字符在文字中的顺位,而match返回的是资料在行或列中的顺位。DATEDIF(开始日期,结束日期,计算单位)计算两日之间的天数、月数或年数。注意截取范围理应只为一个单元格(大的或小的),对应仅一个文本字符串。C23:C31是姓名列,但是不包括小标题。
2024-08-02 14:04:42
470
原创 Excel函数基础(一)
VLOOKUP(第一位同学的成绩单元格,成绩等级划分表,返回成绩划分表的第二栏(等级),TRUE(模糊查询))=IFS(C4>90,"A",C4>=60,"B",C4
2024-08-01 23:28:11
335
原创 Excel基础操作(三)
页脚:分为左中右三块,点击右块,点击页码(然后加上第*页的字样),点击旁边空格处,即可添加页码。将年份拖到筛选器中,在透视表上方就会出现年份的选择按钮,可以单选或多选不同年份的数据进行查看。点击顶端标题行(点击右边的小箭头,可以定位到表中去点击选择)->选择标题所在的第一行。加入logo:图片->插入图片,设置图片格式->缩小高度和宽度的比例。注意筛选器中的字段,不能再放到其他区域中,否则会自动从筛选器中移除。页面布局->调整页面表格的缩放比例,或者调整打印输出的宽度和高度。
2024-07-31 17:49:45
384
原创 Excel基本操作(二)
图表设计->右侧面板:图表选项->选择无填充、无线条,文本选项->选择纯色填充->选择白色。右键设置单元格格式->数字->数值->小数位数:0位,或者点击功能区的减少小数位数的图标。将一堆杂乱的数据进行类目整理->根据选中的类目,筛选出符合类目条件的内容。(2)数值格式下,单元格中最多可以输入15个数字,超出的数字将会变为0。,右侧面板中选择图片或纹理填充,然后插入图片(图片源)右边的小按钮中,可以撤销整列的计算,也可以恢复。->确认范围正确后,勾选表包含标题,点击确定。
2024-07-30 20:15:54
261
原创 Re解析实战——获取豆瓣电影TOP250
csvwriter.writerow():通过使用CSV writer对象csvwriter的writerow方法,将数据写入对象关联的文件中(注意:参数是一个可迭代对象)(比如:"name": "***", "year": "***", "score": "***", "num": "***")这个CSV writer对象允许你使用它的方法(比如“writerow()”)将列表或元组的数据写入CSV文件中。csv.writer(f)创建了一个CSV writer对象,它用于向CSV文件中写入数据。
2024-07-30 12:42:33
263
原创 python爬虫入门(五)之Re解析
Re解析”是指使用正则表达式(regular expression,简称regex)进行文本解析或匹配的过程。解析网页内容的三种方式:1、bs4解析(最简单)2、re解析(解析速度最快)3、xpath解析(语法规则最舒服)选择解析方法通常取决于要处理的文档类型和具体的任务需求。Beautiful Soup适合处理不规范的HTML和简单的数据提取;正则表达式适合对文本模式进行精确匹配和替换;而XPath则是处理复杂XML文档和需要精确节点定位的首选工具。
2024-07-29 00:54:59
825
原创 数模打怪(八)之图论模型
图的数学语言描述:G( V(G), E(G) ),G(graph):图,V(vertex):顶点集,E(edge):边集。
2024-07-26 10:17:40
391
原创 Excel基本操作(一)
开始->字体->边框图标->绘制边框,画笔沿对角线画一下,最后再次点击边框图标退出即可。点击单元格,上方的公式编辑栏中输入“=D4*E4”(示例),回车即可。或者鼠标右键,选择设置单元格格式->边框->对角线,最后确认即可。点击答案单元格,选择求和,确认求和区域正确后,按回车即可。鼠标放在标题栏序号的间隙,变成黑色的左右箭头时,开始->对齐方式->合并后居中,或者选择图标居中。先选中文字,shift连选,ctrl加选,开始->字体->边框图标,可以添加表格线。复制表格,开始->选择性粘贴->转置粘贴。
2024-07-25 16:04:30
332
原创 前端入门(五)之练习表格的增删改查
cells[0] //这里name是节点,所以下面要用innerHTML,而不能直接用name。prompt(获取用户输入):带有输入框的对话框,有返回值(点击取消或关闭,返回null)获取插入行:let length=table.rows.length。在button中添加属性: onclick='addRow()'注意:row.parentNode是tbody,而不是table。插入列单元:let nameCol=newTable.alert(显示信息):消息框,只显示信息。由父节点删除:row。
2024-07-21 17:12:59
393
原创 前端入门(四)之JavaScript
事件可以充当函数触发的条件补充:onclick和click的区别直接绑定: 事件处理程序直接写在 HTML 标签内。覆盖性: 如果同一个元素的onclick属性被多次定义,最后一次定义的事件处理程序会覆盖之前的。分离关注点: 事件处理程序通常写在 JavaScript 文件中,而不是嵌入在 HTML 中,遵循了 HTML 和 JavaScript 分离的原则。事件委托: 使用事件委托时,可以在父元素上绑定事件处理程序,从而处理其子元素的点击事件,提升性能。支持多个事件处理程序。
2024-07-21 10:02:40
840
原创 前端学习(二)之HTML
在<input type="text" name="username" value="西瓜大侠">中,2、单选和多选:radio和checkbox(对应value为选项的值,当选中时,这个值会被提交)3、按钮:button、submit和reset(对应value为按钮上的标签文本)4、隐藏字段:hidden(对应value为隐藏在表单中的用户不可见的数值)段落格式标签:加粗b,斜体i,下划线u,删除线s,换行br,水平分割线hr。1、name:给表单控件起的名字,服务器靠这个名字来识别和获取输入的数据。
2024-07-18 20:18:47
1014
1
原创 前端入门(一)环境搭建
写前端代码的快捷神器作用:(1)提高编码效率:可以自动补全、插入片段、实时预览等(2)及时显示错误:有语法高亮和错误检查功能(3)增强代码可读性有格式化和语法高亮。
2024-07-18 12:38:40
222
原创 数模打怪(六)之典型相关分析
典型相关分析是研究两组变量(每组变量中都可能有多个指标)之间相关关系的一种多元统计方法。它能揭示出两组变量之间的内在联系。
2024-07-17 14:29:59
181
原创 数模打怪(五)之相关系数
相关系数:用来衡量两个变量之间的相关性的大小。根据数据满足的不同条件,选择不同的相关系数进行计算和分析。两种最为常用的相关系数:person相关系数和spearman等相关系数。所以,一定要先画散点图,看是否为线性相关 ,才能使用相关系数判断相关性的强弱(绝对值越大的相关性越强,即绝对值趋近1)也可以写[R,P]=corr(Test, 'type', 'Spearman') ,直接计算相关系数和p值。
2024-07-16 09:09:55
444
原创 数模打怪(四)之拟合模型
拟合:得到一条确定的曲线,经过尽可能多的点插值:要经过所有样本点,为了避免龙格现象通常采取分段倾向于选择拟合,因为希望得到确定的曲线。
2024-07-15 14:10:24
286
原创 数模打怪(三)之插值模型
当题目中现有数据极少,不足以支撑分析的进行时,需要使用一些数学方法,“模拟产生”一些新的但又比较靠谱的值来满足需求。补全数据方法:构造函数y=f(x),使f(x)经过所有已知节点,求f(x*)即可得到y*
2024-07-14 22:51:28
343
原创 TOPSIS法:matlab代码实现
matlab自定义函数要单独放在一个m文件里格式:function [输出变量]=函数名称(输入变量)函数体end% 例如:% a=d+e;% b=e+f;% c=f+d;% end。
2024-07-13 14:08:07
359
原创 数模打怪(二)之TOPSIS法
TOPSIS法(逼近理想解排序法,又称优劣解距离法),主要用于解决评价类问题。当题目中n大于15,或者有很多给出的精确数据时,不用层次分析法,而用这个方法。优劣解距离法能充分利用原始数据的信息,其结果能精确地反映各评价方案之间的差距。
2024-07-13 00:32:32
304
原创 层次分析法:matlab代码实现
关于矩阵:1、矩阵的输入写法;]同行用空格或逗号隔开,不同行用分号间隔2、矩阵求和默认按列求和 a=sum(E) 等同于 a=sum(E,1) 得到行向量按行求和 a=sum(E,2) 得到列向量对整个矩阵求和 a=sum(E,"all")或者a=sum(E(:)) 或者 a=sum(sum(E))3、矩阵求积默认按列求积 a=prod(E)或者a=prod(E,1)按行求积 a=prod(E,2)整个矩阵求积 a=prod(E,"all")4、提取指定位置的元素 A(i,j)
2024-07-12 18:35:54
559
1
原创 matlab入门学习
MATLAB(matrix laboratory矩阵实验室)是一款商用数学软件,主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。可用于数据分析、深度学习、图像处理与计算机视觉、量化金融与风险管理等领域。
2024-07-12 13:28:55
371
原创 数模打怪(一)之层次分析法
层次分析法(AHP)主要用于解决评价类问题(可打分)比如哪种方案更好、哪位运动员更优秀等二、层次分析法的三个步骤1、建立层次结构分析题目,找出评价类问题的三要素:(1)评价的目的(2)可选的方案(3)评价的准则或指标(根据题目,小组讨论,去知网上搜索等)然后建立层次结构图如何画图:1、ppt作图写出文本->开始->提高列表等级(增加缩进)->SmartArt2、亿图图示、Xmind等2、两两比较,构造判断矩阵;通过一致性检验后,计算权重(1)构造判断矩阵(2)一致性检验。
2024-07-10 16:50:08
396
原创 python爬虫入门(四)之Beautiful Soup库
1、Beautiful Soup库是用来做HTML解析的库Beautiful Soup把看起来复杂的HTML内容,解析成树状结构,让搜索和修改HTML结构变得更容易2、第三方库,先安装终端输入pip install bs4from bs4 import BeautifulSoup(引入)3、beautifulsoup和bs4是什么关系。
2024-07-06 11:18:29
322
原创 python爬虫入门(三)之HTML网页结构
:起始标签,表示开始(HTML文档的根)<body>:表示文档的主体内容<h1>...一级标题...</h1><p>...文本段落...<p>
2024-07-05 23:59:28
813
原创 python爬虫入门(二)之Requests库
1、requests库让我们可以通过python代码去构建和发送HTTP请求2、第三方库,要先安装python终端,输入pip install requestssuccessfully installed:安装成功requirement already satisfied: 说明已经安装过,无需再安装若没有pip(python包管理工具)则可以先去http://pip.pypa.io/en/stable/installation/学习下载安装3、
2024-07-05 17:19:57
267
原创 python爬虫入门(一)之HTTP请求和响应
http: Hypertext Transfer Protocol(超文本传输协议)客户端和服务器之间的请求-响应协议eg: 浏览器可看作一个服务端,在浏览器中输入网址,浏览器就会向运行该网站的服务器发送请求,然后等待服务器返回给浏览器响应。
2024-07-05 12:46:25
972
原创 Python极速入门笔记(一)
或者在Windows的cmd中输入python)所有输入指令,最终都不会被保存,所以只相当于“2、不需要print就可以看到输出结果。输入quit()或者按ctrl+d。(直接点击python的控制台。1、不需要建立任何新的文件。>>>a,即可输出a的内容。eg:可以用作快捷计算器。
2024-07-02 23:23:37
229
原创 如何让电脑流畅?
虽然存储感知提供了自动化的功能,但磁盘清理工具能够让用户更直接地进行手动控制和操作,特别是。win+r,输入cleanmgr(mgr是manager的缩写),可选择磁盘进行清理。win+i打开电脑设置,系统->存储->(高级存储设置)保存新内容的地方,ctrl+shift+esc(最左边的)打开任务管理器,选择启动,win+r,输入%temp%,即可打开临时文件夹。win+i打开电脑设置,系统->存储->存储感知。win+r,输入mrt,自动扫描并删除恶意软件。5、给c盘“减压”(win+i+系统存储)
2024-07-02 16:50:57
283
原创 win+r的妙用
win+r打开运行(run),可以根据输入的名称打开相应的程序、文件或Internet资源。计算器write写字板(类似于Word)notepad记事本(简单、纯文字)mspaint(ms是英文微软Microsoft的缩写)画图板mstsc远程连接mrt(Microsoft removal tool恶意软件删除工具)杀毒cmd命令控制符dxdiag(DirectX诊断工具)查看电脑配置control控制面板控制台以qq为例:1、在任意目录下新建文件夹**,
2024-07-02 14:26:36
124
原创 C++学习笔记:二进制数据文件
ios::binary //二进制方式打开二进制数据文件(类型文件)有(将所有数据转成字符类型)无,便于高速处理数据(以数据的二进制代码存储,存储长度仅与数据类型有关)是否容易修改信息(参见解释1)否,更新数据需要重建文件结束标志(参见解释2)加一个特殊标志mark。
2024-04-27 22:48:28
435
原创 C++学习笔记:文本文件
先用cin输入student的信息,写入文本文件中(outfile);然后又将信息从文本文件中读出来(infile),用cout输出到黑窗口。1打开文件(如果打不开,就要退出文件) 2文件读或写 3关闭文件。先cin变量的信息,然后outfile从文件中提取信息赋给变量,再cout变量的值。(infile>>类似cin>>,可以自动跳过空格和换行符)ifstream infile(文件名,ios::in)如果没有这个文件,系统将自动构建。
2024-04-27 19:38:30
196
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人