![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
工作日记
Monkey&Penguin
这个作者很懒,什么都没留下…
展开
-
python字典深拷贝无效
python深拷贝对字典无用,因为字典键值存储的内存空间地址会跟着被赋值给拷贝对象。详细分析:https://www.jianshu.com/p/c6350e74a1b1原创 2020-12-10 16:10:37 · 776 阅读 · 2 评论 -
pandas按照列值分割变多行
注意列值不为string请自行转换# 以a段值为index建立,此时level=1test = [{"a":1,"c":1,"b":"1,2,3"},{"a":2,"c":1,"b":"4,5,6"}]test = pd.DataFrame(test)test = (test .set_index(['a'])['b'] .str.split(',', expand=True) .stack()原创 2020-12-07 15:58:57 · 714 阅读 · 0 评论 -
mongoDB大数据查询坑
有一个30亿量级数据的库,如何全量爬取并分析?因为量级过大无法一次性爬取至本地再分析,考虑使用limit().skip()混合的方法,一次读取1万条数据进行分析存储,30亿数据分成30万份后再合并分析生成最后的结果。代码如下:// i为跳跃条数,比如取第一个1万条时i为0,第二个1万条时i为1db.getCollection("whois").find({}).limit(10000).skip(i*10000)30个进程并发计算,一个进程负责1万份的量级。简单测试了下读取速度,非常快,几原创 2020-11-11 15:02:30 · 2713 阅读 · 0 评论 -
vue监听dom高度
npm install element-resize-detector --saveimport elementResizeDetectorMaker from "element-resize-detector";mounted() { const _this = this; const erd = elementResizeDetectorMaker(); erd.listenTo(document.getElementById("aa"), element => .原创 2020-09-28 14:40:26 · 733 阅读 · 0 评论