python
叫我黄某
这个作者很懒,什么都没留下…
展开
-
python 获取巨量星图数据
巨量新图数据目前只获取了前端显示的数据,up主的详细信息有个前端加密,发起的请求需要sign对应才能拿到数据,而且星图的数据拿取到200条的时候就会监测出来,目前没有解决,有人找到星图的sign可以探讨一下1.首先想最简单的就是使用selenium模拟然后解析获取数据,但是网站直接监测到seleniun,百度过一些方法,如何跳过selenium监测,目前都没有实现,代码如下所示from selenium.webdriver import Chromefrom selenium.webdriver im原创 2021-08-26 16:55:25 · 3114 阅读 · 9 评论 -
python获取飞瓜粉丝截图
随着短视频的兴起,公司需要找很多up主谈合作,有些是自己公司签约的up主。签约的up主我们需要每个月统计他的粉丝增长量去报账,以前都是获取粉丝量即可,后面公司规定需要图片来佐证。于是从飞瓜获取截图(飞瓜查询免费用户只能查询10次,如果是免费账户,多注册几个即可)。我使用的是selenium来获取的截图流程就是 用户登录->账号查询->点击详情->定位截图->截图保存1,用户登录,刚开始使用的xpath,一直定位不到登录,后来发现直接使用...原创 2021-08-08 15:54:55 · 567 阅读 · 0 评论 -
批量检测链接是否有效
因为公司会在很多平台发布传播消息,最后需要将各个网站传播的网址收集起来,去找其它公司报账。每个月大概会有1000多条的网址需呀检测是否有效,于是写了个测试链接是否有效。首先考虑的是用状态码,访问成功返回200,地址错误回返回404等其它错误码 response = requests.get(url, headers=headers) if str(response.status_code) == "200":结果发现,现在很多网站即使是4原创 2021-08-06 10:12:40 · 5216 阅读 · 0 评论 -
django增加一个检测链接是否有效的功能
最近公司做财务结算的时候需要同事提供附件或者链接证明,因为数据量比较大,同时存在链接可能失效的情况,所以需要在公司网站上加入一个检测链接是否有效的功能目前所有链接都是统计到excel中的,所有通过上传excel文件,遍历excel中的链接,然后检查链接状态,在链接后面一行写入链接的状态view中的函数def check_url(request):if request.method == “GET”:return render(request, ‘jiesuan/check_url.html’)e原创 2021-07-21 18:00:25 · 221 阅读 · 0 评论 -
Django 实现模版文件下载
其中file_iterator是百度有人写了一个生成器,用于应对大文件下载的情况,因为是模版下载,所以我这里写死了地址,STATIC_ROOT 是在setting.py中设置好的,所以模版目录在STATIC_URL = '/static/'STATIC_ROOT = os.path.join(BASE_DIR, 'myAPP/static') def file_iterator(file_path, chunk_size=512): """ 文件生成器,防止文.原创 2021-07-19 17:05:14 · 285 阅读 · 0 评论