python基础
文章平均质量分 78
程序猿蓝桉
这个作者很懒,什么都没留下…
展开
-
python ast 筛选出使用了splash的类名
1、正则匹配类名较慢,而且匹配if-elif 语句中的网站url和className费劲。从爬虫代码中筛选出使用了splash的class,并匹配对应的网站id。3、在上万行if-elif 中匹配出对应的 url和class关系。1、公司爬虫框架存在一坨巨大的屎山,上万行的ifelse语句。2、上万行的if-else嵌套会导致回调堆栈溢出。2、遍历这些py文件,判断是否使用了splash。2、没有明确文档哪些网站使用了splash进行访问。1、遍历爬虫代码所在目录找出所有的py文件。原创 2023-06-19 17:42:25 · 130 阅读 · 1 评论 -
数据结构与算法---python篇
算法的五大特性:1、输入:有0个或多个输入2、输出:有0个或多个输出3、确定性:算法每一步都有一定的含义,不会出现二义性4、有穷性:算法在执行有限的步骤之后会结束,而不是无线循环执行。5、可行性:算法的每一步都是可行的 如果 a+b+c=1000,且 a^2+b^2=c^2(a,b,c 为自然数),如何求出所有a、b、c可能的组合? import ...转载 2018-12-13 11:23:21 · 133 阅读 · 0 评论 -
python 日期转换
%y 两位数的年份表示(00-99) %Y 四位数的年份表示(000-9999) %m 月份(01-12) %d 月内中的一天(0-31) %H 24小时制小时数(0-23) %I 12小时制小时数(01-12) %M 分钟数(00=59) %S 秒(00-59) %a 本地简化星期名称 %A 本地完整星...原创 2019-04-28 17:39:14 · 836 阅读 · 0 评论 -
关于mysql数据存取问题
问题:利用sqlalchemy:page_size = 1000page_num = 0session.query(EsContentData).limit(page_size).offset(page_size*page_num).all()当数据库数据非常多的情况查询速度就回非常慢。经过测试select * from table limit 1000 offset 2000...原创 2019-05-06 13:29:20 · 252 阅读 · 0 评论 -
python json.loads() 时报错json.decoder.JSONDecodeError: Invalid control character
json.loads(response.text())执行这条函数时报错: json.decoder.JSONDecodeError: Invalid control character原因:在response.text()的 键值中有非法控制符号如\n\t解决方法:json_obj = json.loads(response.text(), strict=False)添加strict...原创 2019-05-07 12:04:28 · 4338 阅读 · 0 评论 -
分享一个各种已经编译好python包的网站,可解决windows无法安装某些python包问题
https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml原创 2019-05-07 15:36:58 · 1195 阅读 · 0 评论