![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
枫呱呱
这个作者很懒,什么都没留下…
展开
-
批量爬取娟娟壁纸的网络图片
def useful_ip(url): #爬取小舒代理每日更新的ip,将有用的IP全部筛选出来,返回一个IP列表 import urllib.request import re import random uapools = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537...原创 2020-02-26 22:40:58 · 2679 阅读 · 0 评论 -
利用PhantomJS爬取腾讯动漫
from selenium import webdriverimport timefrom selenium.webdriver.common.desired_capabilities import DesiredCapabilitiesimport reimport urllib.request#伪装成浏览器访问dcap = dict(DesiredCapabilities.PHA...原创 2020-02-26 16:01:30 · 181 阅读 · 0 评论 -
爬取腾讯视频《一代枭雄》的短评
import urllib.requestimport reimport sslssl._create_default_https_context = ssl._create_unverified_context#视频的idvid = "2802384872"#第一条评论的idcid = "0"#每次提取评论的个数num = "10"headers={"User-Agent...原创 2020-02-23 21:38:39 · 115 阅读 · 0 评论 -
京东商品图片爬取
def useful_ip(url): '''爬取小舒代理每日更新的ip,将有用的IP全部筛选出来,返回一个IP列表''' import urllib.request import re import random uapools = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKi...原创 2020-02-23 02:26:42 · 886 阅读 · 0 评论 -
同时使用用户代理池和IP代理池
def useful_ip(url): '''爬取小舒代理每日更新的ip,将有用的IP全部筛选出来,返回一个IP列表''' import urllib.request import re import random uapools = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKi...原创 2020-02-23 02:21:17 · 279 阅读 · 0 评论