Java爬虫百度首页

最新推荐文章于 2024-09-26 16:57:40 发布
最新推荐文章于 2024-09-26 16:57:40 发布
阅读量1.3k 收藏 5
点赞数 2
分类专栏： 爬虫 文章标签： jsoup servlet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/airenKKK/article/details/87114217
版权

新入Java爬虫，记录一下爬取http://site.baidu.com/并分类存储的思路和实现代码。

  • 项目环境
    Idea + maven + jdk1.8 + tomcat 8 +mysql 8 未采用框架。

实现思路：

  1. HttpClient构建Http请求获取页面
  2. Jsoup解析，结构化数据
  3. 创建Dao层，连接Mysql数据库，将分类好的数据写入数据库
  4. 利用Servlet将前台的select选中的值作为Key调用查询方法并将查询结果返回前台显示

利用Idea+maven构建Web项目这里就不赘述了，配置出现问题的小伙伴欢迎留言交流～
项目结构如下
在这里插入图片描述

  • HttpClient构建Web请求
public class HttpToBeClient {
    public Document Get_page(String url) throws Exception {
//        new httpclient实例并设置cookie属性
        RequestConfig globalConfig = RequestConfig.custom().setCookieSpec(CookieSpecs.IGNORE_COOKIES).build();
        CloseableHttpClient httpClient = HttpClients.custom().setDefaultRequestConfig(globalConfig).build();
//        新建httpget对象并传入url
        HttpGet httpGet = new HttpGet(url);
//        设置请求头
        httpGet.setHeader("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) " +
                "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36");
//        发起请求
        CloseableHttpResponse response = httpClient.execute(httpGet)
//        实例对象并设置编码格式
        HttpEntity httpEntity = response.getEntity();
        String content = EntityUtils.toString(httpEntity, "utf-8");
//        关闭连接
        response.close();
        httpClient.close();
//        Jsoup解析并返回document对象
        Document document = Jsoup.parse(content);
        return document;
    }
}
  • Jsoup解析

在这里插入图片描述
在这里插入图片描述

打开开发者模式观察页面结构大概可以分成这么几块，接下来就是分别对这几块数据进行解析和提取

package HttpSpider;

import Dao.Page;
import Dao.SelectPageDao;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.util.ArrayList;
import java.util.List;

public class BaiduCilent {
    public static void SearchTab(String div_name) throws Exception {
        HttpToBeClient toBeClient = new HttpToBeClient();
        Document document = toBeClient.Get_page("http://site.baidu.com/");
        Elements tabs = document.select(div_name);
        for (Element element : tabs
        ) {
            Elements links = element.getElementsByTag("a");
            for (Element element1 : links
            ) {
                String href = element1.attr("href");
                String title = element1.html();
                SelectPageDao dao = new SelectPageDao();
                dao.add(new Page(element1.firstElementSibling().html(), href, title));

            }
        }
        System.out.println("--------------------------------------这是一条小尾巴--------------------------------------------");
    }

    public static void HotSearch(String div_name) throws Exception {
        HttpToBeClient toBeClient = new HttpToBeClient();
        Document document = toBeClient.Get_page("http://site.baidu.com/");
        Elements tabs = document.select(div_name);
        for (Element element : tabs
        ) {
            Elements links = element.getElementsByTag("a");
            for (Element element1 : links
            ) {
                String href = element1.attr("href");
                String title = element1.html();
                String type = "热搜推荐";
                SelectPageDao dao = new SelectPageDao();
                dao.add(new Page(type, href, title));

            }
        }
    }

    public static void RealModMt10(String div_name) throws Exception {
        HttpToBeClient toBeClient = new HttpToBeClient();
        Document document = toBeClient.Get_page("http://site.baidu.com/");
        Elements tabs = document.select(div_name);
        for (Element element : tabs
        ) {
            Elements links = element.getElementsByTag("a");
            for (Element element1 : links
            ) {
                String href = element1.attr("href");
                String title = element1.html();
                String type = "实时热搜";
                if (href.equals("javascript:;")) {
                    continue;
                }
                if (title.equals(type)) {
                    continue;
                }
                SelectPageDao dao = new SelectPageDao();
                dao.add(new Page(type, href, title));

            }
        }
    }

    public static void TabWrap(String div_name) throws Exception {
        HttpToBeClient toBeClient = new HttpToBeClient();
        Document document = toBeClient.Get_page("http://site.baidu.com/");
        Elements tabs = document.select(div_name);
        Elements hd = tabs.select("div.hd");
        Elements bd = tabs.select("div.bd");
        Elements bangdan1 = hd.select("a[monkey^=\"bangdan-yi\"]");
        List<String> bangdan12 = new ArrayList<>();
        List<String> bangdan34 = new ArrayList<>();
        List<String> bangdan11 = new ArrayList<>();
        List<String> bangdan22 = new ArrayList<>();
        List<String> bangdan33 = new ArrayList<>();
        List<String> bangdan44 = new ArrayList<>();
        for (Element e : bangdan1
        ) {
            for (int i = 0; i < 6; i++) {
                bangdan12.add(e.text());
            }
        }
        Elements bangdan2 = hd.select("a[monkey^=\"bangdan-er\"]");
        for (Element e : bangdan2
        ) {
            for (int i = 0; i < 6; i++) {
                bangdan12.add(e.text());
            }
        }
        Elements bangdan3 = hd.select("a[monkey^=\"bangdan-san\"]");
        for (Element e : bangdan3
        ) {
            for (int i = 0; i < 10; i++) {
                bangdan34.add(e.text());
            }
        }
        Elements bangdan4 = hd.select("a[monkey^=\"bangdan-si\"]");
        for (Element e : bangdan4
        ) {
            for (int i = 0; i < 10; i++) {
                bangdan34.add(e.text());
            }
        }
        Elements bangdanyi = bd.select("div[monkey^=\"bangdan-yi\"]");
        for (Element e : bangdanyi
        ) {
            Elements contents = e.getElementsByTag("a");
            for (Element e1 : contents
            ) {
                String link = e1.attr("href");
                String title = e1.html();
                bangdan11.add(link);
                bangdan22.add(title);
            }
        }
        Elements bangdaner = bd.select("div[monkey^=\"bangdan-er\"]");
        Elements bangdanera = bangdaner.select("a[class^=\"clr-black\"]");
        for (Element e : bangdanera
        ) {
            Elements contents = e.getElementsByTag("a");
            for (Element e1 : contents
            ) {
                String link = e1.attr("href");
                String title = e1.html();
                bangdan11.add(link);
                bangdan22.add(title);
            }
        }
        Elements bangdansan = bd.select("div[monkey^=\"bangdan-san\"]");
        for (Element e : bangdansan
        ) {
            Elements contents = e.getElementsByTag("a");
            for (Element e1 : contents
            ) {
                String link = e1.attr("href");
                String title = e1.html();
                bangdan33.add(link);
                bangdan44.add(title);
            }
        }
        Elements bangdansi = bd.select("div[monkey^=\"bangdan-si\"]");
        for (Element e : bangdansi
        ) {
            Elements contents = e.getElementsByTag("a");
            for (Element e1 : contents
            ) {
                String link = e1.attr("href");
                String title = e1.html();
                bangdan33.add(link);
                bangdan44.add(title);
            }
        }
        for (int i = 0; i < bangdan11.size(); i++) {
            SelectPageDao dao = new SelectPageDao();
            dao.add(new Page(bangdan12.get(i), bangdan11.get(i), bangdan22.get(i)));
        }
        for (int i = 0; i < bangdan33.size(); i++) {
            SelectPageDao dao = new SelectPageDao();
            dao.add(new Page(bangdan34.get(i), bangdan33.get(i), bangdan44.get(i)));
        }
    }

    public static void SitesModMt10(String div_name) throws Exception {
        HttpToBeClient toBeClient = new HttpToBeClient();
        Document document = toBeClient.Get_page("http://site.baidu.com/");
        Elements tabs = document.select(div_name);
        for (Element element : tabs
        ) {
            Elements links = element.getElementsByTag("a");
            for (Element element1 : links
            ) {
                String href = element1.attr("href");
                String title = element1.html();
                String type = "常用站点";
                if (href.equals("javascript:;")) {
                    continue;
                }
                if (title.equals(type)) {
                    continue;
                }
                SelectPageDao dao = new SelectPageDao();
                dao.add(new Page(type, href, title));

            }
        }
    }

    public static void ToolsMod(String div_name) throws Exception {
        HttpToBeClient toBeClient = new HttpToBeClient();
        Document document = toBeClient.Get_page("http://site.baidu.com/");
        Elements tabs = document.select(div_name);
        for (Element element : tabs
        ) {
            Elements links = element.getElementsByTag("a");
            for (Element element1 : links
            ) {
                String href = element1.attr("href");
                String title = element1.html();
                String type = "实用工具";
                if (href.equals("javascript:;")) {
                    continue;
                }
                if (title.equals(type)) {
                    continue;
                }
                SelectPageDao dao = new SelectPageDao();
                dao.add(new Page(type, href, title));

            }
        }
    }

    public static void CoolsMod(String div_name) throws Exception {
        HttpToBeClient toBeClient = new HttpToBeClient();
        Document document = toBeClient.Get_page("http://site.baidu.com/");
        Elements tabs = document.select(div_name);
        Elements titles = tabs.select("a.clr-blue");
        Elements contents = tabs.select("a.icon.clr-black");
        List<String> titles_list = new ArrayList<>();
        List<String> contents_list = new ArrayList<>();
        List<String> links_list = new ArrayList<>();
        for (Element element : titles
        ) {
            Elements links = element.getElementsByTag("a");
            for (Element element1 : links
            ) {
                String title = element1.html().replace(" ","");
                if (title.equals("更多&gt;&gt;")) {
                    continue;
                }
                if (title.equals("软件") | title.equals("金融")) {
                    for (int i = 0; i < 5; i++) {
                        contents_list.add(title);
                    }
                } else {
                    for (int i = 0; i < 6; i++) {
                        contents_list.add(title);
                    }
                }

            }
        }
        System.out.println(contents_list);
        for (Element element : contents
        ) {
            Elements links = element.getElementsByTag("a");
            for (Element element1 : links
            ) {
                String href = element1.attr("href");
                String title = element1.html();
                links_list.add(href);
                titles_list.add(title);
            }
        }
        for (int i = 0; i < contents_list.size(); i++) {
            SelectPageDao dao = new SelectPageDao();
            dao.add(new Page(contents_list.get(i), links_list.get(i), titles_list.get(i)));
        }
    }

    public static void ContentBottomMt10(String div_name) throws Exception {
        HttpToBeClient toBeClient = new HttpToBeClient();
        Document document = toBeClient.Get_page("http://site.baidu.com/");
        Elements tabs = document.select(div_name);
        Elements titles = tabs.select("a.clr-blue");
        Elements tags = tabs.select("a.clr-gray");
        List<String> titles_list = new ArrayList<>();
        List<String> tags_list = new ArrayList<>();
        List<String> links_list = new ArrayList<>();
        for (Element element : titles
        ) {
            Elements links = element.getElementsByTag("a");
            for (Element element1 : links
            ) {
                String title = element1.html();
                for (int i = 0; i < 24; i++) {
                    titles_list.add(title);
                }
            }
        }
        System.out.println(titles_list);
        for (Element element : tags
        ) {
            Elements links = element.getElementsByTag("a");
            for (Element element1 : links
            ) {
                String href = element1.attr("href");
                String title = element1.html();
                links_list.add(href);
                tags_list.add(title);
            }
        }
        for (int i = 0; i < titles_list.size(); i++) {
            SelectPageDao dao = new SelectPageDao();
            dao.add(new Page(titles_list.get(i), links_list.get(i), tags_list.get(i)));
        }
    }

    public static void main(String[] args) throws Exception {

        /*
        顶部导航栏
         */
        SearchTab("div.search-tab");
        /*
         热搜
         */
        HotSearch("div.pages");
        HotSearch("div.hot-searches");
        /*
        新闻
         */
        TabWrap("div.tab-wrap");
        RealModMt10("div.real.mod.mt10");
        /*
        常用站点
         */
        SitesModMt10("div.sites.mod.mt10");
        /*
        猜你喜欢
         */
        /*
        实用工具
         */
        ToolsMod("div.tools.mod");
        /*
        站点导航
         */
        CoolsMod("div.cools.mod");
        /*
        底部导航栏
         */
        ContentBottomMt10("div.content-bottom.mt10");
    }
}

解析按照每个元素有分类、链接、内容三个维度。

  • 连接数据库
import java.sql.*;

public class ConnectDb {
    private static String driver = "com.mysql.cj.jdbc.Driver";
    private static String url = "jdbc:mysql://localhost:3306/WebSpider?characterEncoding=UTF8";
    private static String user = "root";
    private static String password = "123456";

    /*
    连接数据库
     */
    static {
        try {
            Class.forName(driver);
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
    }

    public static Connection getConnection() throws SQLException {
        return DriverManager.getConnection(url, user, password);
    }

    public static void closeAll(Connection conn, Statement stat, ResultSet rs) throws SQLException {
        /*
        关闭连接，释放资源
         */
        if (rs != null) {
            rs.close();
        }
        if (stat != null) {
            stat.close();
        }
        if (conn != null) {
            conn.close();
        }
    }

数据库表字段设计

public class Page {

    private int Id;
    private String Type;
    private String Link;
    private String Content;

    public Page() {
        super();
    }

    public Page(String type, String link, String content) {
    this.Type = type;
    this.Link = link;
    this.Content = content;
    }

    public int getId() {
        return Id;
    }

    public void setId(int id) {
        Id = id;
    }

    public String getType() {
        return Type;
    }

    public void setType(String type) {
        Type = type;
    }

    public String getLink() {
        return Link;
    }

    public void setLink(String link) {
        Link = link;
    }

    public String getContent() {
        return Content;
    }

    public void setContent(String content) {
        Content = content;
    }
}
  • 前台查询

index.jsp部分代码

 <div class="layui-form" id="table-list">
            <table class="layui-table" lay-even lay-skin="nob">
                <thead>
                <tr>
                    <th>分类</th>
                    <th>标题</th>
                    <th>链接</th>
                </tr>
                </thead>
                <tbody>
                <%
                    List<Page> list = (List<Page>) request.getAttribute("list");
                    for (Page page1 : list) {
                %>
                <tr>
                    <td><%=page1.getType()%></td>
                    <td><%=page1.getContent()%></td>
                    <td><a href="<%=page1.getLink()%>" style="color: #00a0e9">戳我！</a></td>

                <%
                    }
                %>
                </tbody>
            </table>

上层表单name=“ServletPage” method=“post”
新建ServletPage.servlet

public class PageServlet extends HttpServlet {
    protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {

        try {
            request.setCharacterEncoding("utf-8");
            response.setCharacterEncoding("utf-8");
            String value = request.getParameter("states");
            System.out.println(value);
            SelectPageDao dao = new SelectPageDao();
            List<Page> list = dao.findByType(value);
            request.setAttribute("list",list);
            request.getRequestDispatcher("index1.jsp").forward(request,response);
        }catch (Exception e){
            e.printStackTrace();
        }

    }

    protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
        doPost(request,response);
    }

}

数据库查询方法

public class SelectPageDao extends ConnectDb implements PageDao {
    @Override
    public List<Page> findAllPages() throws Exception {
        Connection conn = ConnectDb.getConnection();
        String sql = "select * from sitebd";
        PreparedStatement pstmt = conn.prepareStatement(sql);
        ResultSet rs = pstmt.executeQuery();
        List<Page> bdpage = new ArrayList<>();
        while (rs.next()) {
            Page page = new Page();
            page.setType(rs.getString("type"));
            page.setLink(rs.getString("link"));
            page.setContent(rs.getString("content"));
            bdpage.add(page);
        }
        ConnectDb.closeAll(conn, pstmt, rs);
        return bdpage;
    }

    @Override
    public List<Page> findByType(String type) throws Exception {
        Connection conn = ConnectDb.getConnection();
        String sql = "select * from sitebd where type = ?";
        PreparedStatement pstmt = conn.prepareStatement(sql);
        pstmt.setString(1, type);
        ResultSet rs = pstmt.executeQuery();
        List<Page> bdpage = new ArrayList<>();
        while (rs.next()) {
            Page page = new Page();
            page.setType(rs.getString("type"));
            page.setLink(rs.getString("link"));
            page.setContent(rs.getString("content"));
            bdpage.add(page);
        }
        ConnectDb.closeAll(conn, pstmt, rs);
        return bdpage;
    }

第一个是全部查询，第二个是根据前台传过来的数据作为Key查询
web.xml还应该如下配置：

 <servlet>
        <servlet-name>PageServlet</servlet-name>
        <servlet-class>Controller.PageServlet</servlet-class>
    </servlet>
    <servlet-mapping>
        <servlet-name>PageServlet</servlet-name>
        <url-pattern>/PageServlet</url-pattern>
    </servlet-mapping>

启动tomcat服务器
在这里插入图片描述
可以看到数据库中之前结构化存储的数据已经根据选择好的标签查询到了。
因篇幅问题，无法放出所有的代码，代码上传到我的https://github.com/airenle/sitesbd
上，新人水平有限，有问题大家一起交流哈～

迷人的派大星
关注
专栏目录
Java网络爬虫爬取百度页面
crazy_石头的专栏
01-24 3588
最近看到网上介绍爬虫的文章，觉得很有趣，那么心动不如行动，晚上回来的时间刚好用来码代码啦~~ 网络爬虫：按照一定的规则爬取网页上的信息，通常是爬取到一些URL之后然后对这些URL放入队列在一次次的进行搜索，具体不知道是DFS还是BFS了，这里的算法我没咋研究，因为本次做的爬虫实例比较简单，实现一个Java小程序，用来爬取百度页面的LOGO。 事实上爬虫的作用远大于此，本次例子仅为入门参考使用。
[Java]知乎下巴第1集：爬虫世界百度不仅仅可以拿来测网速
热门推荐
汪海的实验室
12-27 2万+
上一集中我们说到需要用Java来制作一个知乎爬虫，那么这一次，我们就来研究一下如何使用代码获取到网页的内容。 首先，没有HTML和CSS和JS和AJAX经验的建议先去W3C（点我点我）小小的了解一下。 然后，接下来我们需要用Java来爬取一个网页的内容。 这里就涉及到一个GET访问和POST访问的问题。 一般来说，我们访问网页都是GET访问，也就是简单的页面浏览，不会产生副
Java爬虫入门与实践：simple-spider项目解析
最新发布
weixin_36212459的博客
09-26 1251
本文还有配套的精品资源，点击获取 简介：随着信息技术的发展，数据采集变得日益重要。简单蜘蛛（simple-spider）是一个用Java编写的简单爬虫示例，提供了学习和实践网络爬虫技术的基础。本项目涵盖HTTP协议、HTML解析、URL管理、异步处理、数据存储、异常处理、反爬策略以及项目结构等多个方面的核心技术要点，旨在帮助开发者掌握网络爬虫的开发流程和实践应用。 ...
webcollector mysql_WebCollector爬取百度搜索引擎样例
weixin_39655981的博客
01-19 191
package com.wjd.baidukey.crawler;import java.io.ByteArrayInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.net.URLEncoder;import java.sql.Connection;import java.sql.Dr...
java 百度爬虫_零基础写Java知乎爬虫之先拿百度首页练练手
weixin_42517854的博客
02-12 200
上一集中我们说到需要用Java来制作一个知乎爬虫，那么这一次，我们就来研究一下如何使用代码获取到网页的内容。首先，没有HTML和CSS和JS和AJAX经验的建议先去W3C(点我点我)小小的了解一下。说到HTML，这里就涉及到一个GET访问和POST访问的问题。如果对这个方面缺乏了解可以阅读W3C的这篇：《GET对比POST》。啊哈，在此不再赘述。然后咧，接下来我们需要用Java来爬取一个网页的内容...
java 百度爬虫_使用Java编写爬虫，下载百度图片
weixin_33937306的博客
02-12 302
因为最近需要很多图片素材做机器训练，所以写一个爬虫来下载百度图片里的一些图片，用作机器学习。先看看效果图：实现思路：根据百度图片的Ajax请求，用Chrome获取到URL，然后通过改变URL参数，获得百度图片Ajax请求的JSON。解析获得每一张图片的URL。爬虫启动后，新建两百个线程，用来并发下载图片，充分利用带宽。使用ConcurrentLinkedQueue创建队列，将第一步中解析出的链接添...
[Java] 知乎下巴第5集：使用HttpClient工具包和宽度爬虫
汪海的实验室
01-09 1万+
说到爬虫，使用Java本身自带的URLConnection可以实现一些基本的抓取页面的功能，但是对于一些比较高级的功能，比如重定向的处理，HTML标记的去除，仅仅使用URLConnection还是不够的。 在这里我们可以使用HttpClient这个第三方jar包，下载地址点击这里。 接下来我们使用HttpClient简单的写一个爬去百度的Demo： import java.io.File
java爬虫爬取百度图片
04-18
Java爬虫爬取百度图片是一项常见的网络数据抓取任务，主要涉及到的技术包括网络请求、HTML解析、图片下载等。在本场景中，我们主要探讨如何使用Java语言编写爬虫来实现这一目标。 首先，要爬取百度图片，我们需要...
基于http的Java爬虫爬取百度新闻
05-06
在本项目中，“基于http的Java爬虫爬取百度新闻”是一个实例，它利用Java编程语言，通过HTTP协议来抓取百度新闻网站上的数据。这个项目的核心知识点包括HTTP协议的理解、Java编程基础、网络爬虫的实现以及对百度新闻...
百度贴吧java爬虫
12-03
【标题】：“百度贴吧java爬虫”涉及到的主要技术与知识点 在标题中提到的“百度贴吧java爬虫”是一项利用Java编程语言实现的网络爬虫项目，其目标是抓取百度贴吧上的用户内容、用户名以及楼层信息。在这个过程中，...
Java爬虫，信息抓取的实现 完整实例源码
04-09
Java爬虫技术是一种用于自动化获取互联网信息的编程技术，它能高效地遍历网页，提取所需数据。在这个“Java爬虫，信息抓取的实现 完整实例源码”中，我们将深入探讨如何使用Java来编写爬虫，尤其是通过jsoup库进行...
写一个java版的百度爬虫
weixin_35753431的博客
12-20 315
百度爬虫是一个程序，它可以模拟人类在百度上搜索关键词并获取搜索结果页面的过程。下面是一个使用 Java 写的简单的百度爬虫的例子： import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.URL; import java.net.URLConnection; public class Bai...
爬虫入门 手写一个Java爬虫
weixin_30325487的博客
11-18 4517
本文内容涞源于 罗刚老师的书籍 << 自己动手写网络爬虫一书 >> ; 本文将介绍 1: 网络爬虫的是做什么的? 2:手动写一个简单的网络爬虫; 1:网络爬虫是做什么的? 他的主要工作就是 跟据指定的url地址去发送请求,获得响应,然后解析响应 ,一方面从响应中查找出想要查找的数据,另一方面从响应中解析出新的URL路径, 然后继续访问,继续解析;...
java爬取数据_JAVA爬取百度数据
weixin_33768246的博客
02-20 456
package com.bonc;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.FileReader;import ...
Java爬虫入门——爬取百度热搜
wzc3614的博客
02-23 1605
Java爬虫入门——爬取百度热搜
Java爬取百度指数
jxii的博客
06-24 626
由于在实际的应用中，也可能会使用到Java来获取百度指数的数据，结合我的前一篇博客（https://blog.csdn.net/weixin_43933556/article/details/118163875），整体思路大致一样，在SpringBoot的测试类中编写单元测试完成数据的获取。 本次使用HuTool工具的HttpRequest类发起请求，使用org.json.JSONObject和JSONArray类对返回的JSON数据进行解析，由于Java中目前我对JSON数据解析掌握的知识有限，暂时只能一
Java写的爬虫爬百度首页Code《转自零基础写Java知乎爬虫之先拿百度首页练练手》
fengzheku的专栏
03-11 1200
package com.baidu.test;import java.io.BufferedReader;import java.io.InputStreamReader;import java.net.URL;import java.net.URLConnection;import java.util.regex.Matcher;import java.util.regex.Pattern;pu
【教你写爬虫】用Java爬虫爬取百度搜索结果！可爬10w+条！
weixin_52959360的博客
11-09 2347
在爬虫中，无非就是模拟人的操作过程，去做相关操作，获取数据。通过上文介绍的方式，我们是使用一种更具有通用型的方式去爬取数据。因为Puppeteer只是代理人手工点击的方式，而拿到数据。上述完整代码，可以留言私信我获取。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值