python
qq_36155609
这个作者很懒,什么都没留下…
展开
-
pymongo +python多条件组合去重
查了官方文档和伙伴们的帖子,可能由于版本不同,示范案例总是失败比如:db.myset.aggregate([ { '$group': { '_id': {'docname': '$docname','hpname': '$hpname'},'count': {'$sum': 1},'dups': {'$addToSet': '$_id'}} }, { ...原创 2018-04-27 19:51:26 · 3505 阅读 · 0 评论 -
python爬虫 : 汽车之家车型最新爬取解密方法
汽车之家作为一家上市公司,本身具有强大的技术实力支持,简单的数据易爬,复杂而机密的数据,可见不可求。如下图所示:核心的数据,在页面是找不到文字的,全是空空空空!!!和尚一样!经过测试发现,这些数据都是CSS伪代码装载而成,每一个class代表一个字或单词。如上图,class="hs_kw17_configbF"就代表“一汽”。知道原理后,基本就是解码工作,怎么干最快?html ...原创 2018-11-09 23:17:41 · 1868 阅读 · 1 评论 -
windows 安装sip 编译失败问题解决
官网下载windows 版本的sip后,发现需要编译,于是采用mingw64编译win64版本失败,改成win32成功了,可能官方的版本不支持64位的。只得一提的是,本机是64位的。安装SIP后,anaconda 亦能import sip。 ...原创 2018-12-02 23:44:19 · 1274 阅读 · 0 评论 -
不用selenium,phantomjs,spynner+pyquery 15行代码,爬取js动态数据
#-*-coding: utf-8 -*- import spynner import pyquery def process_request(url): #定义函数 browser = spynner.Browser() #浏览器实例化 browser.create_webview() #创建浏览试图 browser.s...原创 2018-12-03 23:05:52 · 382 阅读 · 0 评论