selenium
会飞的尼古拉斯
没有个性,但比较尿性
展开
-
python selenium sqlalchemy pyquery 进行数据爬虫
只给demo,不讲解哈,有时间会出一个selenium的详细讲解博客dataBase.pyfrom sqlalchemy.ext.declarative import declarative_baseimport sqlalchemyfrom sqlalchemy.orm import sessionmaker,scoped_sessionclass connects(): def __init__(self,user,password,db,host="localhost",port=原创 2020-06-12 08:14:19 · 158 阅读 · 0 评论 -
scrapy + selenium实现动态加载网页的爬虫
正常情况下,Scrapy是通过Request请求实现网页爬虫,但我们想使用selenium的get方法实现网络爬虫,这要怎么做呢?其实Scrapy发送请求后是通过中间件实现页面抓取的,并通过下载中间件返回我们需要的数据,所以我们只需要在下载中间件中做处理即可。本文以Scrapy + selenium +PhantomJS实现今日头条热点新闻的抓取。PhantomJS是无界面的浏览器,效率更快1 环境准备pip install selenium2 安装PhantomJS从https://phan原创 2020-08-11 10:39:18 · 798 阅读 · 0 评论 -
selenium 设置无界面,并保存图片
from selenium.webdriver.common.keys import Keysfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium import webdriverfrom sele原创 2021-03-30 14:20:59 · 220 阅读 · 0 评论