- 博客(13)
- 收藏
- 关注
RSS订阅原创 selinium自动化爬虫记录
之前的问题：（非常之坑爹，xpath检查了好久都没发现哪有问题）https://blog.csdn.net/poundsPLUS/article/details/124544059?spm=1001.2014.3001.5502这两天爬了个动态渲染的网页，国外的网站，一开始挂梯子上去，总是加载error或空值，我当时就想着是不是因为爬墙又被认出啥东东的，就不敢用。后来才发现翻墙爬虫是真的快啊，其实是真的没有什么毛病的。就是有时候会给蹦出个登录窗口，像下面这样（我曾尝试过利用driver登录，妄想着就不
2022-05-04 12:52:22
1170
原创 关于生成列表，dataframe太大，内存溢出，程序以外中断的情况
可以直接指定index，start end；一定时间段，比如说1000个就进行一次输出，然后把本次的end设为下一次的start，然后到start+1000（本次的end）的时候输出；而再输出的时候再把本次的end（start+1000）再设为start如此往复；类似下图这样：之后再合并即可...
2022-04-06 12:00:28
389
原创 关于进程池在函数里面的dataframe的loc修改法就不行了
好无语啊，，有没有大神告诉我为什么开进程池的时候，在函数里面的dataframe的loc修改法就不行了，真的吐了
2022-02-24 13:33:58
186
原创 PermissionError: [Errno 13] Permission denied:‘xxx.csv‘
为了省事，我用python 绝对路径.py直接运行，，然后就报错了所以乖乖cd到文件目录下，再python 脚本名即可
2022-02-15 12:15:15
813
原创 xpath遇到的坑
<html><div> <div>123</div> <div>456</div> <div>789</div></div></html>如果你要遍历类似上面的某个div下的全部div，你要用:divs = item.xpath('html/div/div')然后你就可以：for div in divs, 对每个div进行操作xpath是从1开始的，不是从0开
2022-01-27 21:34:48
518
原创 正则关于search的group的巨坑
昨天写了一点正则，发现一个史前巨坑，就是re.search不能超过三个（？P<>.*?）的，具体的很可能还有其他限制，但从我调试的结果来看就是这样的——以下面这个代码段为例：AsdfAefwAfwefAqewq当正则下面这般时候，group不出type4base_obj = re.compile(r'A(?P<type1>.*?)A(?P<type2>.*?)A(?P<type3>.*?)A(?P<type4>.*?)',re.S)出来
2022-01-24 08:49:50
228
原创 关于代理协程爬虫的问题总结
最近在用代理文本爬虫，因为kaggle对某些信息的获取比较敏感，以sleep random 25的情况下仍然跑300个数据就gg了，显示‘too many requests’, 然后就得重新跑。我想这不行啊，这要跑到啥时候，然后就想着用代理跑。。我用的是快代理，私密代理的集中代理，得参照这文档 快代理使用文档根据经验，得设置这么几个参数：batch = 20 #每次的多少个数据（行）异步interval = 10 #每次隔 batch*interval次输出一次csv， 其中task每次异步bat
2022-01-10 15:51:42
917
原创 皇后问题
回溯算法以皇后问题为例，个人认为根本在于如果这一行的条件不满足，就没办法进入到下一行的**“深挖”当中，相当于“中断”了。“中断”之后继续分析本行的上一行的其他列**（因为本行就是从上一行“深挖”下来的，所以挖不到东西就继续上一行的工作）。比如说第二行的某一列找到了，然后第3行的第3列也符合，但是到第四行遍历整列没有一个符合的，这时候便不会在第三行第三列的点深挖，此时便继续遍历第三行第四列、第五列、第六列是否满足。说一下个人浅见，感觉它与递归最大的区别在于，递归需要不断地返回结果（在下一层的计算完后，
2021-03-20 20:46:19
319
原创 E:最短路（迪杰斯特拉算法）
E:最短路总时间限制: 1000ms 内存限制: 65536kB描述有N（不大于10）座城市，编号为1至N，已知任意两个城市间距离（不超过1000的非负整数）。求从城市1至城市N的最短路。输入第一行输入N之后N行，每行N个整数，描述了城市间距离的邻接矩阵，其中第i行第j个表示城市i到城市j的距离。相邻整数用空格分开输出第一行输出最短路径长度第二行输出经过的城市编号，用空格隔开代码：#include<stdio.h>#include<iostream>usi
2021-03-17 14:58:50
119
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人