- 博客(4)
- 收藏
- 关注
RSS订阅原创 selenium实现无限滚动、循环滚动到底
今天做python动态网页觉得构造请求太麻烦，而网站几次滚动就能下拉到底，所以想着直接用selenium连续下拉滚动到底，然后直接一把梭。没搜到太好太直接的方案。边做边试大概实现了功能。核心代码就这么几句，思路就是用scrollBy一直下拉滚动条，然后scrollTop会一直变化，当scrollTop不变时，说明就到底了。跳出循环即可。import timefrom lxml import etreefrom selenium import webdriverdriver =webdri
2020-05-14 22:40:53
5965
4
原创 复制chrome请求头以及Copy as cURL直接转成python代码
python爬虫经常需要服务浏览器请求头，之前都是用pycharm批量替换。今天想看看有啥方便的方法没。结果发现了更超出预期的东西。chrome的Copy as cURL 和curl to python。下图是Copy as cURL，python去动态网页时经常需要寻找真正的结构然后利用参数构造请求。以https://fr.news.yahoo.com/politique/这个网站为例复制过来是这么一坨：curl 'https://fr.news.yahoo.com/_td/api/
2020-05-14 22:26:31
13056
4
原创 python 脚本获取django环境
import osif __name__ == '__main__': os.environ.setdefault( "DJANGO_SETTINGS_MODULE", "project.settings" ) os.environ.setdefault("IP_PORT","xxx") os.environ.setdefault("PASS_WORD","xxx") import django django.setup(.
2020-05-13 16:40:01
315
原创 django admin join查询user的权限group的sql
select u.username, u.email, (select name from auth_group where id = g.group_id) as user_group from auth_user as u join auth_user_groups as g on u.id=g.user_id and u.is_staff=1 order by user_group,u.username;
2020-05-12 16:40:30
294
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人