爬虫
文章平均质量分 79
persist_gd
行有不得,反求诸己
展开
-
selenium执行js程序和动作链以及iframe的处理
from selenium import webdriverfrom time import sleep# 导入动作链类from selenium.webdriver import ActionChainsbro = webdriver.Chrome(executable_path='chromedriver')bro.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')# 执行js程序(示例) 向下滑原创 2020-08-15 19:48:45 · 285 阅读 · 0 评论 -
selenium实现webdriver无弹出安静爬取数据
from selenium import webdriverfrom time import sleep# 实现无可视化界面from selenium.webdriver.chrome.options import Options# 实现规避检测from selenium.webdriver import ChromeOptions# 实现无可视化界面的操作chrome_options = Options()chrome_options.add_argument('--headless')原创 2020-08-15 20:04:43 · 360 阅读 · 0 评论 -
selenium实现循环点击下一页获取每页新数据
from selenium import webdriverfrom lxml import etreefrom time import sleepbro = webdriver.Chrome(executable_path='chromedriver')bro.get('http://scxk.nmpa.gov.cn:81/xk/')bro.switch_to_alert().accept()def get_page(page_text=None): if page_text is原创 2020-08-13 22:47:40 · 7352 阅读 · 0 评论 -
视频爬虫
import os# 音视频处理import ffmpy3import requestsfrom bs4 import BeautifulSoup# 多线程包from multiprocessing.dummy import Pool as ThreadPoolsearch_keyword = '越狱第一季'search_url = 'http://www.jisudhw.com/index.php'serach_params = { 'm': 'vod-search'}se原创 2020-07-29 09:51:31 · 444 阅读 · 0 评论