雪小妮-CSDN博客

原创 python 使用selenium获取控制台显示数据（日志数据）

【代码】python 使用selenium获取控制台显示数据（日志数据）

2024-09-16 15:55:16 146

原创 python 使用seleniumwire获取响应数据以及请求参数

seleniumwire 是一个在 Selenium WebDriver 基础上扩展的库，它允许你在使用 Selenium 进行网页自动化测试或爬虫时捕获和修改 HTTP 请求和响应。这对于需要分析网页数据或进行更复杂的网络交互的自动化任务特别有用。

2024-09-16 15:33:35 383

转载 python项目中使用requirement.txt移植第三方库

python项目移植requirement.txt

2023-10-11 21:37:39 299

原创 scrapy---中间件--设置User-Agent、代理

本文主要讲述scrapy—中间件，理解中间件的处理流程。

2023-06-07 17:29:47 678

原创 scrapy--管道1

本文主要讲述怎么在scrapy中保存数据。主要讲mysql、excel的保存。

2023-06-05 14:13:57 110

原创 python爬虫框架----scrapy基础篇

Scrapy 是一个基于 Twisted 实现的异步处理爬虫框架，该框架使用纯 Python 语言编写。Scrapy 框架应用广泛，常用于数据采集、网络监测，以及自动化测试等。提示：Twisted 是一个基于事件驱动的网络引擎框架，同样采用 Python 实现。本文主要讲述Scrapy爬虫工作流程以及创建scrapy爬虫项目。

2023-06-03 18:35:20 2864

原创加速乐-AAencode-ob混淆

加速乐、AAEncode、OB 混淆破解出多层响应 Cookie 逆向。

2023-05-07 16:08:46 749

原创有道翻译--js逆向分析md5加密参数---破解接口密文

有道翻译-最新js分析

2023-04-18 18:05:54 757

原创 MySql 创建表，插入表数据

一、创建表1.#### 创建表结构一样的表CREATE TABLE IF NOT EXISTS new_table_name (LIKE table_name ); CREATE TABLE new_table_name select * from table_name

2021-12-13 16:42:25 694

UNION用的比较多union all是直接连接，取到得是所有值，记录可能有重复 union 是取唯一值，记录没有重复1、UNION 的语法如下：[SQL 语句 1]UNION[SQL 语句 2]2、UNION ALL 的语法如下： [SQL 语句 1] UNION ALL [SQL 语句 2]效率：UNION和UNION ALL关键字都是将两个结果集合并为一个，但这两者从使用和效率上来说都有所不同。1、对重复结果的处理：UNION在进行表链接后会筛选掉重复的记录，Union

2021-12-13 16:36:48 178

原创 Mysql 更新数据

一、根据条件更新表中指定字段的值UPDATE table_name set 字段1= REPLACE(字段1,'旧数据','新数据'),字段3= REPLACE(字段3,'旧数据','新数据'), where 字段2= '激光传感器';

2021-12-13 15:51:45 1471

原创 mysql 查询删除重复数据，保留其中一条数据

一、查询重复数据--------根据多个字段查询重复数据SELECT *FROM table_name aWHERE (a.字段1, a.字段2) IN ( SELECT 字段1, 字段2 FROM table_name GROUP BY 字段1, 字段2 HAVING

2021-12-13 15:43:02 6486 1

原创 selenium+pyquery--51job

from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysimport time

2021-11-22 14:10:47 754

原创 51job+selenium+div弹窗

from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysimport time

2021-07-08 10:30:29 1679

原创 selenium+定位frame里的元素以及class属性元中有多个用空格隔开的元素

一、frame里的元素-----例子https://mail.163.com/登录1.原因：iframe的作用是文档中的文档，或者浮动的框架(FRAME)。iframe元素会创建包含另外一个文档的内联框架（即行内框架），在selenium使用的时候如果不进行切换，我们是无法定位到iframe中的元素的。我们可以通过switch_to.frame()来切换到相应的iframe上2.观察开发者工具可以看到用户名和密码都在iframe框架中from selenium import webdriverfr

2021-07-07 10:52:30 521

原创 selenuim+携程自由行+利用try...except判断元素是否存在

from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysimport time

2021-07-06 22:31:37 299

转载 selenuim+京东

一、步骤第一步：设置input，要搜索的关键字第二步，利用selenuim设置打开浏览器第三步：声明一个list，存储dict第五步：定义爬虫函数a. 请求url ：browser.get(url)b.获取输入框的id，并输入关键字 :browser.find_element_by_id(‘xxx’).send_keys(key_word)c.输入回车进行搜索: browser.find_element_by_id(‘xxx’).send_keys(Keys.ENTER)d.显示等待下一页的

2021-07-05 16:13:07 89

原创 requests+bs4 +find豆瓣

import requestsfrom bs4 import BeautifulSoupfrom random import choicefrom requests.exceptions import RequestExceptionurl = 'https://book.douban.com/tag/%E7%BC%96%E7%A8%8B'ua = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML

2021-07-02 17:48:19 81

原创 requests+bs4 使用css选择器（select）豆瓣

import requestsfrom requests.exceptions import RequestExceptionfrom lxml import etreeimport time, json, csv,xlwt,xlrdimport pandas as pdfrom xlutils.copy import copyfrom bs4 import BeautifulSoup# 第一步：#定义一个方法获取网页信息def get_one_page(url): try:

2021-07-02 17:47:02 1182

原创 Requests+Xpath 爬取豆瓣读书TOP并生成txt,csv,json,excel文件

说明：##来源：https://www.cnblogs.com/yizhiamumu/p/10270926.html1 Requests+Xpath 爬取豆瓣读书TOP‘’’Requests+Xpath 爬取豆瓣读书TOP安装 Python 应用包pip install requestspip install lxml获取元素的Xpath信息并获得文本：手动获取：定位目标元素，在网站上依次点击：右键 > 检查file=s.xpath(‘元素的Xpath信息/text()’)快捷键

2021-07-01 23:16:32 4372

原创 python爬虫之BeautifulSoup

参考：https://blog.csdn.net/weixin_34127717/article/details/90583410?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7E

2021-06-01 21:49:18 387

空空如也

空空如也