数据处理与分析
记录数据处理与分析过程中碰到的问题
不捣糨糊
这个作者很懒,什么都没留下…
展开
-
爬虫趣事-爬虫遇到的反爬虫天坑
1、我明明模拟登录成功了,提示也是登录成功。但是如果你不再调用一个特殊的链接,后面无论你去取什么数据的,他就提示你“请登录”,这个特殊的链接,人通过浏览器正常浏览登录成功之后,会自动调用,获取一些无关紧要的数据。我爬虫模拟登录成功之后,一般都是直接取自己需要的数据,不会去但是你调用了这个特殊的链接,就能取到数据了。钥匙把门打开之后,你还得傻逼的喊一句芝麻开门才能拿里面的东西。2、...原创 2020-11-05 11:16:48 · 129 阅读 · 0 评论 -
MemoryError: Unable to allocate array with shape (60000, 28, 28) and data type float 32等类似情况
https://www.pianshen.com/article/9561878889/1.引起此类问题的原因是电脑虚拟内存占用太大,因此只需要修改电脑的虚拟内存,此类问题即可迎刃而解。转载 2020-11-04 10:31:50 · 1824 阅读 · 0 评论 -
如何调试抓取跳转页面前发送的请求
F12调试的时候记得勾选preservelog原创 2020-06-30 09:45:53 · 1313 阅读 · 1 评论 -
mysql月份差
获取两个日期的月份差,如果仅仅是比较月份,需要把日期都调整到同一天(例如当月1日),不然会出现问题select TIMESTAMPDIFF(MONTH,'2018-10-31', '2018-11-30');期望结果是1,但是运行得到0。可以都调整到每月第一天TIMESTAMPDIFF(MONTH,concat(left(loan_date,7),'-01'), concat(left(data_date,7),'-01')...原创 2020-06-18 16:19:44 · 1650 阅读 · 0 评论