本人纯为爱好,请各位大神多多关照,有任何问题可以留言
# -*- coding: GB2312 -*-
import requests # 发送请求
from bs4 import BeautifulSoup # 解析页面
from lxml import etree
import pandas as pd # 存入csv数据
from time import sleep # 等待间隔
import random # 随机
import csv
# 注:本代码是用 Visual Studio 2022 运行,
# 抬头需使用 # -*- coding: GB2312 -*- ,用utf-8 ,输出DOS窗口,中文汉字为乱码;
# 另外在 文件-高级保存选项 内容也需要确认保持统一
# 下面代码需更换自己的"Cookie",需登陆baidu账号后查看。
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 Edg/124.0.0.0",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",
"Connection": "keep-alive",
"Accept-Encoding": "gzip, deflate, br, zstd",
"Host": "www.baidu.com",
"Cookie": "************4Q0m4j9"
}
# 下面代码解释URL,xpath 所需内容,并保存csv
# 修改数字,想要哪页,(0,为一页,1为一页,2为两页);(3,6)为 第3页到第5页的内容。第一次测试可写2,看下出来的是否正确;
for page in range(0):
# 等待时长秒
wait_seconds = random.uniform(3, 6)
# 随机等待
sleep(wait_seconds)
# 需更换为 自己的网址
url = 'https://www.baidu.com/s?wd=site%3Awww.***.com.cn' + '&pn=' + str(page * 10)
html = requests.get(url, headers=headers)
soup = etree.HTML(html.text)
# 快照标题,注:xpath 如找文本需填加 /text()
title = soup.xpath('//*[@class="result c-container xpath-log new-pmd"]//h3/a/text()')
# 快照链接,注:xpath 如找文本需填加 /text()
link = soup.xpath('//*[@class="result c-container xpath-log new-pmd"]//@mu')
#判断 两列是否都有数据,不正常就报错
assert len(title) == len(link)
# 打开CSV文件进行写入
# 创建的文件,写入数据,原有数据不变,注:表格禁止打开编辑,否则再用会乱码
with open('input.csv', 'a', newline='', encoding='utf-8') as csvfile:
writer = csv.writer(csvfile)
# 第一次写入标题行,取消可跳过标题写入
writer.writerow(['ID','标题', '网址'])
# ID为自增列( 只能实现每页数据自增0)
for i, (title, link)in enumerate(zip(title, link), start=1):
# 写入查询结果
writer.writerow([i,title, link])
# 显示实际爬取的URL和爬取数量
print('正在爬取:{},共查询到{}个结果'.format(url, len(link)))
# 下面代码为 读取CSV文件,跳过第一行,并检查其余每一行,过滤含有"ID"的行,并填加自增列,并保存新表内
#读取CSV文件 假设第一行是标题行
df = pd.read_csv('input.csv', header=0)
# 条件过滤:跳过含有"ID"的行 ,替换YourColumnName为实际列名
condition = df['ID'].str.contains('ID', na=False)
# 不能去掉“~‘,会出错,原因不详
df = df[~condition]
# 填加自增列
df['序号'] = range(1, len(df) + 1)
# 保存到新的CSV文件 不保存行索引
df.to_csv('output.csv', index=False)