GBT游戏小组游戏爬取,变相解决无法搜索的问题

本次采用selenium方式爬取
但此代码有个小小问题 在第二个日期分类下会出现多个空格
selenium中的隐性等待和显示等待都测试过,无法解决这个问题
故把保存的txt逐行读取,再删除空格了

file1 = open('file1.txt', 'r')   # 打开要去掉空行的文件
file2 = open('data2.txt', 'w')  # 生成没有空行的文件

for line in file1.readlines():
    if line == '\n':
        line = line.strip('\n')
    file2.write(line)

file1.close()
file2.close()

python代码

# -*- coding =utf-8 -*-
# @time : 2022/8/3 11:29
# @software: PyCharm
# Author:Xiao_yu
import unittest
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from time import sleep
from selenium import webdriver

from selenium.webdriver import ActionChains
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By


def main():
    sdata()

def sdata():
    f = open('data.txt','a')
    driver = webdriver.Chrome()
    driver.get("http://gbtgame.ysepan.com/")
    sleep(2)
    elist = driver.find_elements_by_class_name('ml')
    for i in range(0,len(elist)):
        elist[i].click()
        sleep(2)
        f.write(elist[i].text)
        f.write('\n')
        f.write(('\n'))
        egame =driver.find_elements_by_class_name('xwj')
        sleep(3)
        for j in range(0,len(egame)):
            f.write(egame[j].text)
            f.write('\n')
    driver.close()

if __name__ == "__main__":
    main()

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值