python3
mesgw01
这个作者很懒,什么都没留下…
展开
-
老孙的爬虫(二·)--------通过储存在在MongoDB中的url来下载文件
#紧接着我在"老孙的爬虫一中储存的url进行下载" from pymongo import MongoClient import requests import os import datetime from multiprocessing import Pool from multiprocessing import Process import time conn=MongoCli...原创 2018-12-03 18:26:24 · 650 阅读 · 0 评论 -
老孙的爬虫(三)------使用selenium+chrome 使用关键字爬取js渲染的数据
目标:输入关键字爬取 http://www.freefullpdf.com/#gsc.tab=0 内pdf文件的网址(本网站为国外pdf文件网站,需要代理) 方法一:在浏览器上输入这个url,然后在这个网址的搜索框中随意输入一个关键字会发现网址栏的url会变为 http://www.freefullpdf.com/#gsc.tab=0&gsc.q...原创 2018-12-07 18:20:32 · 1429 阅读 · 0 评论