selenium
会飞的尼古拉斯
没有个性,但比较尿性
展开
-
python selenium sqlalchemy pyquery 进行数据爬虫
只给demo,不讲解哈,有时间会出一个selenium的详细讲解博客 dataBase.py from sqlalchemy.ext.declarative import declarative_base import sqlalchemy from sqlalchemy.orm import sessionmaker,scoped_session class connects(): def __init__(self,user,password,db,host="localhost",port=原创 2020-06-12 08:14:19 · 157 阅读 · 0 评论 -
scrapy + selenium实现动态加载网页的爬虫
正常情况下,Scrapy是通过Request请求实现网页爬虫,但我们想使用selenium的get方法实现网络爬虫,这要怎么做呢?其实Scrapy发送请求后是通过中间件实现页面抓取的,并通过下载中间件返回我们需要的数据,所以我们只需要在下载中间件中做处理即可。 本文以Scrapy + selenium +PhantomJS实现今日头条热点新闻的抓取。 PhantomJS是无界面的浏览器,效率更快 1 环境准备 pip install selenium 2 安装PhantomJS 从https://phan原创 2020-08-11 10:39:18 · 796 阅读 · 0 评论 -
selenium 设置无界面,并保存图片
from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWait from selenium import webdriver from sele原创 2021-03-30 14:20:59 · 218 阅读 · 0 评论