![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
爬虫相关程序
沧海二阳
如需技术交流,加qq:2536298120或微信13180977920
展开
-
石墨文档网页视频链接批量保存到百度网盘
1.打开网页,批量保存其中xpath可能会改变,自行debug更改from selenium import webdriverfrom time import sleepfrom selenium.webdriver.common.action_chains import ActionChainsfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfr原创 2020-11-13 11:20:01 · 6232 阅读 · 0 评论 -
selenium 模拟登录小D课堂
from selenium import webdriverfrom time import sleepfrom selenium.webdriver.common.action_chains import ActionChainsdriver = webdriver.Chrome() #拿到 driverdriver.get("https://xdclass.net") sleep(2)login_ele = driver.find_element_by_css_selec原创 2020-06-05 19:21:45 · 151 阅读 · 1 评论 -
数据处理之正则re
正则原创 2020-11-09 11:54:42 · 398 阅读 · 0 评论 -
百度贴吧爬虫
dsfgsdfgsdfg1.爬虫1.爬虫class TiebaSpider: def __init__(self, tieba_name): self.tieba_name = tieba_name self.url_temp = "https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&...原创 2019-07-19 19:24:03 · 136 阅读 · 0 评论 -
python爬虫之墨迹天气
墨迹天气获取时间信息import requestsfrom lxml.html import etreeimport jsonimport time # 导入模块class MoJiWeather(): def city_name(self): # 定义一个输入城市名称的函数 cityname = str(input("输入城市名称:")) ...原创 2020-04-30 09:31:43 · 602 阅读 · 0 评论 -
selenium 批量下载qq邮箱附件
# encoding:utf-8import osimport urllibimport _threadimport timefrom selenium import webdriverfrom selenium.webdriver.common.keys import Keys#......................................................原创 2019-12-24 15:05:22 · 1479 阅读 · 0 评论 -
CSDN批量删除python 代码
CSDN批量删除from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitimport timedriver = webdriver.Chrome("./chromedriver.exe")driver.get("https://mp.csdn.net")time.sle...原创 2019-12-17 14:14:31 · 254 阅读 · 0 评论 -
selenuim+requests+re(数据挖掘)
selenuim获取cookie信息:可解决验证码登陆,弹窗等问题requests携带cookie信息:访问超链接获取html正则匹配页面信息挖掘所需信息from selenium import webdriverimport requestsimport time"""使用cookie进行模拟登录1、首先使用selenium模拟浏览器登录网站2、...原创 2019-07-25 22:27:14 · 165 阅读 · 0 评论 -
多线程糗百爬虫
import requestsfrom lxml import etreeclass Qiubai: def __init__(self): self.temp_url = "https://www.qiushibaike.com/text/page/{}" self.headers = {"User-Agent": "Mozilla/5.0 (Win...原创 2019-07-23 22:50:17 · 106 阅读 · 0 评论 -
爬虫之Selenium初级知识
原创 2019-07-25 22:27:44 · 98 阅读 · 0 评论 -
爬虫之request
爬虫实例代码讲解1. 基本GET请求(headers参数 和 parmas参数)2. 基本Post请求3.proxies请求4.request进行携带cookie登陆4.1 cookie字符串放在headers中4.2 cookie字典Requests 继承了urllib的所有特性。Requests支持HTTP连接保持和连接池,支持使用cookie保持会话,支持文件上传,支持自动确定响...原创 2019-07-20 23:32:22 · 505 阅读 · 0 评论