目录
2、python selenium 操作需要获取页面中请求的响应数据
1、python控制已经打开的浏览器
首先需要这个打开的浏览器是固定端口,可以通过运行一下代码来打开一个浏览器
import os
# 打开谷歌浏览器,端口号为9220
os.system('start chrome.exe --remote-debugging-port=9220')
2、python selenium 操作需要获取页面中请求的响应数据
参考这篇:
import json
from selenium import webdriver
from selenium.common.exceptions import WebDriverException
from selenium.webdriver.chrome.options import Options
caps = {
"browserName": "chrome",
'goog:loggingPrefs': {'performance': 'ALL'} # 开启日志性能监听
}
# }
options = Options()
options.add_experimental_option("debuggerAddress", "127.0.0.1:9220") # 指定端口为9220
driver = webdriver.Chrome(desired_capabilities=caps,options = options)
driver.get('https://www.baidu.com') # 访问该url
def filter_type(_type: str):
types = [
'application/javascript', 'application/x-javascript', 'text/css', 'webp', 'image/png', 'image/gif',
'image/jpeg', 'image/x-icon', 'application/octet-stream'
]
if _type not in types:
return True
return False
performance_log = driver.get_log('performance') # 获取名称为 performance 的日志
# print(performance_log)
for packet in performance_log:
message = json.loads(packet.get('message')).get('message') # 获取message的数据
if message.get('method') != 'Network.responseReceived': # 如果method 不是 responseReceived 类型就不往下执行
continue
packet_type = message.get('params').get('response').get('mimeType') # 获取该请求返回的type
if not filter_type(_type=packet_type): # 过滤type
continue
requestId = message.get('params').get('requestId') # 唯一的请求标识符。相当于该请求的身份证
url = message.get('params').get('response').get('url') # 获取 该请求 url
try:
resp = driver.execute_cdp_cmd('Network.getResponseBody', {'requestId': requestId}) # selenium调用 cdp
#这个路径可以根据需要的地址进行更改,找到需要的请求才打印
if "/reuse/activity/query/list" in url:
print(f'type: {packet_type} url: {url}')
print(f'response: {resp}')
print()
except WebDriverException: # 忽略异常
pass
3、保存文件到csv中
import csv
data={0:[a,b,c],1:[d,e,f]}
with open(r'data.csv','a',newline='') as f:
writer = csv.writer(f)
for a in range(len(data)):
# print(a)
writer.writerow(data[a])
4、使用代理进行页面请求获取页面响应信息
from browsermobproxy import Server
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
# 开启Proxy,先要下载好 browsermob-proxy,地址放进括号中
server = Server(r'browsermob-proxy.bat')
server.start()
proxy = server.create_proxy()
# 配置Proxy启动WebDriver
chrome_options = Options()
chrome_options.add_argument('--proxy-server={0}'.format(proxy.proxy))
# 解决 您的连接不是私密连接问题
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--ignore-urlfetcher-cert-requests')
driver = webdriver.Chrome(options=chrome_options)
driver.implicitly_wait(20)
proxy.new_har("test", options={'captureHeaders': True, 'captureContent': True})
#进行页面操作
driver.get("http://www.baidu.com")
#获取请求信息
result = proxy.har
i = 0
#遍历寻找合适信息
for entry in result['log']['entries']:
_url = entry['request']['url']
print(_url)
# 根据URL找到数据接口
if "/yum/report/ipcc/his" in _url:
#继续进行拿取操作
print(i)
content = entry['response']['content']
5、时间
获取当前时间,然后获取,年、月、日、时、分
hour = datetime.datetime.now().hour minute = datetime.datetime.now().minute
获取今天日期,求昨天的日期,最后格式化昨天日期
today = datetime.datetime.today() yesterday = today - datetime.timedelta(days=1) dic["date"] = yesterday.strftime('%Y-%m-%d')
6、字典类型保存到数据库
import pymysql
conn = pymysql.connect(host="", port=, user="", passwd="", db='')
# 使用cursor()方法创建一个游标对象
cursor = conn.cursor()
#date必须是个字典类型,并且字典的key和数据库中的字段需要匹配,table是需要保存到的表名
def save(date, table):
# 表名
keys = ','.join(date.keys()) # 列字段
values = ', '.join(['%s'] * len(date)) # 行字段
sql = 'INSERT INTO {table}({keys}) VALUES ({values})'.format(table=table, keys=keys, values=values)
# 使用execute()方法执行SQL语句
res = cursor.execute(sql, tuple(date.values()))
conn.commit()