webmagic爬取百度知道的问答对并存到数据库

最新推荐文章于 2023-01-10 21:24:19 发布

呵呵哒呵呵705

最新推荐文章于 2023-01-10 21:24:19 发布

阅读量912

点赞数

分类专栏：爬虫文章标签：爬虫 webmagic 数据库

本文链接：https://blog.csdn.net/qq_36267979/article/details/78508592

版权

本文介绍了如何使用WebMagic框架来抓取百度知道的问答内容，并详细讲解了从定义数据库字段、建立数据库连接到定制爬虫核心步骤的整个过程。

摘要由CSDN通过智能技术生成

（1）定义数据库爬取的title：

package shuju;

public class baidu {

    private String author;// 编号

    public String getAuthor() {
        return author;
    }

    public void setAuthor(String author) {
        this.author = author;
    }

    public String toString() {
        return "shuju [author=" + author + "]";
    }
}

（2）连接到数据库（dao文件）

package shuju;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;

public class baiduDao {
   

    private Connection conn = null;
    public baiduDao() {
        try {
            Cl