使用selenium对卡车之家论坛进行爬虫

最新推荐文章于 2024-10-23 11:19:33 发布

MerlinShieh

最新推荐文章于 2024-10-23 11:19:33 发布

阅读量722

点赞数

分类专栏：提升自己

本文链接：https://blog.csdn.net/qq_41323133/article/details/86658322

版权

本文主要介绍如何利用selenium库对卡车之家论坛进行网页爬虫操作，通过实例代码展示具体步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

直接上代码

# -*- coding: utf-8 -*-
# @Time    : 2019/1/24 14:36
# @Author  : Merlin
# @Email   : shiehmerlin@gmail.com
# @File    : kachezhijialuntan.py
# @Software: PyCharm Community Edition

import selenium
from selenium import webdriver
import os,requests,time
import sys

from config import weizhi,urldef,Light_truck,Medium_truck,Heavy_truck,Dump_truck,truck,tag, pagenum,package_path,file_path

reload(sys)
sys.setdefaultencoding('utf8')

def start():
	options = webdriver.ChromeOptions()
	options.add_argument("--headless")  # 设置火狐为headless无界面模式
	options.add_argument("--disable-gpu")
	d = webdriver.Chrome(options=options)
	# #
	# d = webdriver.Chrome()
	return d
d = start()
def stop():
	d.quit()
#######################################################


# path = package_path[0] + file_path[0]
#######################################################

# count = 2
def query_write(path):

	commont = d.find_element_by_xpath(weizhi['heard'] + str(count) + weizhi['common'])
	start = d.find_element_by_xpath(weizhi['heard'] + str(count) + weizhi['startdate'])
	end = d.find_element_by_xpath(weizhi['heard'] + str(count) + weizhi['enddate'])
	huifu = d.find_element_by_xpath(weizhi['heard'

最低0.47元/天解锁文章