爬虫
希望头发巨多的妹子
越来越好
展开
-
爬虫中遇到的问题
1.用os路径下载爬取的数据时,注意路径的有无,没有的话他不会报错,(前提是抛了异常)但就是下不下来。 2.写cookie池的时候headers注意开头不要有空格。 3.re是真**难用。。。但我用惯了,就不想再用bs4再费脑子了。 4,记得调试的时候检查print(),不要像我一样做个铁憨憨。。。。 ...原创 2019-12-24 09:04:13 · 106 阅读 · 0 评论 -
图片
# -*- coding: utf-8 -*- """根据搜索词下载百度图片""" import re import sys import urllib import requests def get_onepage_urls(onepageurl): """获取单个翻页的所有图片的urls+当前翻页的下一翻页的url""" if not onepageurl: ...转载 2019-12-23 22:51:14 · 73 阅读 · 0 评论 -
爬虫selenium和bs4的脚本
def get_products(): # 判断单个页面是否被加载出来 wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-itemlist .items .item'))) html = browser.page_source # 获取页面源代码,所有的 # 使...原创 2019-11-05 16:59:01 · 133 阅读 · 0 评论