python
追梦的少年Ly
别配不上自己的野心,也别辜负了曾经历的苦难...
展开
-
爬取网易云音乐(通过外链)
2.观察了一下具体的网页源码,发现有个大的iframe框架。然后我就开始尝试着跳入iframe框架,再进行获取网页源码,这次发现获取到的源码包含了歌曲信息,good!1.刚开始获取网页源码,即page_source,获取到的内容不包含对应的热歌榜中的歌曲信息。在网页中用xpath插件定位也定位不了,换了class定位也不行。id=3778678中的音乐进行爬取,下载到本地文件夹中。1.获取热歌榜中的音乐链接,切分出每首歌曲对应的id,拼接成外链。2.根据对应的外链,写到本地文件夹中。原创 2023-10-18 15:43:28 · 688 阅读 · 0 评论 -
爬取网页表格数据至本地
1.对http://quote.eastmoney.com/center/gridlist.html#hs_a_board网站进行数据的爬取。2.在代码中,指定D:/spider_file/spider_excel/stock.xls。我们可以看见,D列行宽通过我们的代码完成改变了,数据共爬取5380行。1.目前只选取了部分字段的数据,2.0的想法是把所有字段爬取下来。1.今天实现了多页爬取,将沪深京的所有股的信息爬取下来了。很早之前写的代码了,自己搬运一下的。1.将所有字段都爬取下来了。原创 2023-10-18 15:40:36 · 762 阅读 · 1 评论 -
爬取网页文本
1.对https://www.qidian.com/rank/fengyun/chn21/page1/网站进行了图片的爬取。3.1.0版本,目前实现的是爬取小说的名称、摘要,存入指定记事本中。2.并下载到了本地的D:\spider_text的文件夹中。1.获取小说名称以及小说摘要,存入对应列表。很早之前写的了,搬运一下自己的。2.遍历列表,写入指定记事本中。原创 2023-10-18 15:34:19 · 147 阅读 · 1 评论 -
爬取网站图片2.0版
爬取思路:1.今天的任务是想把整个网站所有页面的图片都爬下来,简单观察了一下不同网站的规律,发现他们的网址链接是有规律的,如下可发现,他们的链接末尾是依次+1(除第一页外),利用这个规律,我们通过for循环,将所有要跳转的网址写入了列表,后面涉及的相同的代码也写进for循环。其余代码和昨天差不多。但是我发现在我开始写2.0版本的时候发现自己的代码,太乱了!2.在封装1.5的时候,写着写着把2.0也实现了emmm,差不多一个小时,实现了全部页面图片的爬取下载,共爬取44张网页,爬取图片爬了1638张。原创 2023-10-18 15:12:40 · 85 阅读 · 1 评论 -
爬取网站图片1.0版
爬取网站图片并下载本地原创 2023-05-15 18:41:13 · 92 阅读 · 0 评论 -
OSS中所有文件及其大小、第二层文件夹的大小写入Excel
OSS中所有文件及其大小、第二层文件夹的大小写入Excel(还有点瑕疵)import oss2import xlsxwriterdef CalculateFolderLength(bucket, folder): length = 0 for obj in oss2.ObjectIterator(bucket, prefix=folder, max_keys=1000): length += obj.size return length# 阿里云主账号A原创 2022-03-30 09:12:42 · 977 阅读 · 0 评论 -
移动目录下除zip以外的文件
移动目录下除zip以外的文件import shutilimport osdef remove_file(old_path, new_path): for i in os.listdir(old_path): path1=os.path.join(old_path,i) newpath1=os.path.join(new_path,i) if os.path.isdir(path1):#如果是个文件夹 for j in原创 2022-03-27 15:39:41 · 269 阅读 · 0 评论 -
文件夹重命名
文件夹重命名import osdef rename_file(path1): file_list=os.listdir(path1) down_list=[] for i in file_list: full_path=path1+"/"+i if os.path.isdir(full_path): down_list.append(full_path) #将文件夹中的文件夹放入列表 for j in down_l原创 2022-03-09 09:49:04 · 98 阅读 · 0 评论 -
创建同名文件夹,仅创建文件夹,不包含其内部文件
创建同名文件夹,仅创建文件夹,不包含其内部文件import osdirlist=os.listdir("D:\BaiduNetdisk")path = "D:\试一试\{}" #要复制到哪里path1="D:\试一试"for i in dirlist: if os.path.isdir("D:\BaiduNetdisk"+"\\"+i) and i not in os.listdir(path1): #里面的路径是你想要复制文件夹的 原路径 os.mkdir(pa原创 2022-03-08 17:46:48 · 366 阅读 · 0 评论 -
查询OSS目录内部文件大小--》写入EXCEL
查询OSS目录内部文件大小–》写入EXCEL# -*- coding: utf-8 -*-import oss2import xlsxwriterdef CalculateFolderLength(bucket, folder): length = 0 for obj in oss2.ObjectIteratorV2(bucket, prefix=folder): length += obj.size #此时单位为Byte return length #原创 2022-03-02 14:53:40 · 1423 阅读 · 0 评论 -
显示指定路径的目录文件树
参考了一下其他大佬的,自己又完善了一点。显示指定路径的目录文件树。import osfrom os.path import join, getsizeimport redef tryint(s): #将元素中的数字转换为int后再排序 try: return int(s) except ValueError: return sdef str2int(v_str): #将元原创 2022-03-01 15:47:56 · 264 阅读 · 0 评论 -
查询指定目录下文件及文件夹
查询指定目录下文件及文件夹import osfrom os.path import join, getsizeimport math## for a,b,c in os.walk(path):# print(a) #路径# print(b) #该目录下的文件夹# print(c) #该目录下的文件def getdirsize(dir): size = 0 for root, dirs, files in os.walk(dir): #roo原创 2022-02-24 17:23:49 · 778 阅读 · 0 评论