Selenium驱动firefox爬取今日头条并存放在MySQL数据库中

最新推荐文章于 2024-08-05 13:47:38 发布

gentle...

最新推荐文章于 2024-08-05 13:47:38 发布

阅读量933

点赞数 6

分类专栏： python 文章标签： Selenium 今日头条

本文链接：https://blog.csdn.net/weixin_43557810/article/details/91352142

版权

本文介绍了如何利用Selenium驱动Firefox浏览器爬取今日头条的内容，并将数据存储到MySQL数据库中。首先，确保安装了selenium包和MySQL数据库，同时使用Navicat作为可视化工具。接着，下载与Firefox版本兼容的geckodriver。在代码实现中，通过XPath选择新闻元素，用BeautifulSoup解析后存入数据库。

摘要由CSDN通过智能技术生成

Selenium驱动firefox爬取今日头条

前提：
1.安装selenium包：pip install selenium
2.安装MySQL数据库，并下载Navicat可视化工具
Navicat可视化工具链接:
https://pan.baidu.com/s/1xOzg2Rp9L4LVv15QmRkqbQ
提取码: 1ck5
3.下载Firefox驱动器
注意：
这里要保证Firefox、geckodriver、selenium三者的版本相互兼容，不然会出现错误或者驱动不了Firefox浏览器的情况。
这里提供一篇博客，讲述如何安装三者，保证相互兼容：
相互兼容问题

请先看源码，源码中有一些不明白的地方，在从这里查

说明资料
在这里插入图片描述

cursor.execute('use news')

在这里插入图片描述

# SQL语句的意思是建立一个序号自增，包含title\title_pic\author\times\article_pic\article的表格
	
    sql = '''
        create table {}(
        id int(11) not null auto_increment primary key,
        title varchar(100),
        title_pic varchar(100),
        author varchar(50),
        times varchar(30),
        article_pic varchar(100),
        article text
        )
        
    '''.format(path)

    try:
        cursor.execute(sql)
    except: