Java网络编程（一）：利用Java技术读取网页做一个简单爬网页上邮箱的网络蜘蛛

最新推荐文章于 2024-08-13 16:03:06 发布
最新推荐文章于 2024-08-13 16:03:06 发布
阅读量687 收藏 1
点赞数
分类专栏： java技术 文章标签： 网络编程 java 邮箱
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37720904/article/details/70051000
版权

原理很简单，把网页信息用In流导入，然后用正则表达式，判断是否为邮箱，是的话就记录下来。当然也可以爬其他东西，而且做得更复杂。就是有超链接，或者深层的要进去继续爬，就是搜索。我这里比较简单，只爬单独的网页。

package cn.hncu.dage.Spider;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.junit.Test;

public class SpiderDemo {
    @Test // 爬本地的文件上的E-Mails
    public void getMails() throws IOException{
        // 先把文件导入
        FileReader fr = new FileReader("Mails.html");
        BufferedReader br = new BufferedReader(fr);

        String reg="\\w+@\\w+(\\.\\w+)+";// 判断是否为e-mail 的正则表达式
        Pattern p = Pattern.compile(reg);
        String str = null;
        while( (str=br.readLine())!=null){
            Matcher m = p.matcher(str);
            while (m.find()) {
                System.out.println(m.group());
            }
        }
    }
    @Test
    public void getMailsBynet() throws IOException{
        URL url = new URL("http://www.sina.com");
        BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream()));

        String reg ="\\w+@\\w+(\\.\\w+)+";  
        Pattern p = Pattern.compile(reg);
        String str = null;
        while( (str=br.readLine())!=null){
            Matcher m = p.matcher(str);
            while(m.find()){
                System.out.println(m.group());
            }
        }
    }

}

改进了 做了个图形界面的

/*
 * SpiderFrame.java
 *
 * Created on __DATE__, __TIME__
 */

package cn.hncu.dage.Spider.v;

/**
 *
 * @author  __USER__
 */
public class SpiderFrame extends javax.swing.JFrame {

    /** Creates new form SpiderFrame */
    public SpiderFrame() {
        initComponents();
        this.setBounds(400, 100, 500, 400);
        this.setContentPane(new SpiderPanel());
    }

    /** This method is called from within the constructor to
     * initialize the form.
     * WARNING: Do NOT modify this code. The content of this method is
     * always regenerated by the Form Editor.
     */
    //GEN-BEGIN:initComponents
    // <editor-fold defaultstate="collapsed" desc="Generated Code">
    private void initComponents() {

        menuBar = new javax.swing.JMenuBar();
        fileMenu = new javax.swing.JMenu();
        openMenuItem = new javax.swing.JMenuItem();
        saveMenuItem = new javax.swing.JMenuItem();
        saveAsMenuItem = new javax.swing.JMenuItem();
        exitMenuItem = new javax.swing.JMenuItem();
        editMenu = new javax.swing.JMenu();
        cutMenuItem = new javax.swing.JMenuItem();
        copyMenuItem = new javax.swing.JMenuItem();
        pasteMenuItem = new javax.swing.JMenuItem();
        deleteMenuItem = new javax.swing.JMenuItem();
        helpMenu = new javax.swing.JMenu();
        contentsMenuItem = new javax.swing.JMenuItem();
        aboutMenuItem = new javax.swing.JMenuItem();

        setDefaultCloseOperation(javax.swing.WindowConstants.EXIT_ON_CLOSE);
        setMinimumSize(new java.awt.Dimension(300, 400));

        fileMenu.setText("File");

        openMenuItem.setText("Open");
        fileMenu.add(openMenuItem);

        saveMenuItem.setText("Save");
        fileMenu.add(saveMenuItem);

        saveAsMenuItem.setText("Save As ...");
        fileMenu.add(saveAsMenuItem);

        exitMenuItem.setText("Exit");
        exitMenuItem.addActionListener(new java.awt.event.ActionListener() {
            public void actionPerformed(java.awt.event.ActionEvent evt) {
                exitMenuItemActionPerformed(evt);
            }
        });
        fileMenu.add(exitMenuItem);

        menuBar.add(fileMenu);

        editMenu.setText("Edit");

        cutMenuItem.setText("Cut");
        editMenu.add(cutMenuItem);

        copyMenuItem.setText("Copy");
        editMenu.add(copyMenuItem);

        pasteMenuItem.setText("Paste");
        editMenu.add(pasteMenuItem);

        deleteMenuItem.setText("Delete");
        editMenu.add(deleteMenuItem);

        menuBar.add(editMenu);

        helpMenu.setText("Help");

        contentsMenuItem.setText("Contents");
        helpMenu.add(contentsMenuItem);

        aboutMenuItem.setText("About");
        helpMenu.add(aboutMenuItem);

        menuBar.add(helpMenu);

        setJMenuBar(menuBar);

        javax.swing.GroupLayout layout = new javax.swing.GroupLayout(
                getContentPane());
        getContentPane().setLayout(layout);
        layout.setHorizontalGroup(layout.createParallelGroup(
                javax.swing.GroupLayout.Alignment.LEADING).addGap(0, 400,
                Short.MAX_VALUE));
        layout.setVerticalGroup(layout.createParallelGroup(
                javax.swing.GroupLayout.Alignment.LEADING).addGap(0, 279,
                Short.MAX_VALUE));

        pack();
    }// </editor-fold>
    //GEN-END:initComponents

    private void exitMenuItemActionPerformed(java.awt.event.ActionEvent evt) {//GEN-FIRST:event_exitMenuItemActionPerformed
        System.exit(0);
    }//GEN-LAST:event_exitMenuItemActionPerformed

    /**
     * @param args the command line arguments
     */
    public static void main(String args[]) {
        java.awt.EventQueue.invokeLater(new Runnable() {
            public void run() {
                new SpiderFrame().setVisible(true);
            }
        });
    }

    //GEN-BEGIN:variables
    // Variables declaration - do not modify
    private javax.swing.JMenuItem aboutMenuItem;
    private javax.swing.JMenuItem contentsMenuItem;
    private javax.swing.JMenuItem copyMenuItem;
    private javax.swing.JMenuItem cutMenuItem;
    private javax.swing.JMenuItem deleteMenuItem;
    private javax.swing.JMenu editMenu;
    private javax.swing.JMenuItem exitMenuItem;
    private javax.swing.JMenu fileMenu;
    private javax.swing.JMenu helpMenu;
    private javax.swing.JMenuBar menuBar;
    private javax.swing.JMenuItem openMenuItem;
    private javax.swing.JMenuItem pasteMenuItem;
    private javax.swing.JMenuItem saveAsMenuItem;
    private javax.swing.JMenuItem saveMenuItem;
    // End of variables declaration//GEN-END:variables

}
/*
 * SpiderPanel.java
 *
 * Created on __DATE__, __TIME__
 */

package cn.hncu.dage.Spider.v;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import javax.swing.JOptionPane;

/**
 *
 * @author  __USER__
 */
public class SpiderPanel extends javax.swing.JPanel {

    /** Creates new form SpiderPanel */
    public SpiderPanel() {
        initComponents();
        this.setBounds(400, 100, 500, 400);
    }

    /** This method is called from within the constructor to
     * initialize the form.
     * WARNING: Do NOT modify this code. The content of this method is
     * always regenerated by the Form Editor.
     */
    //GEN-BEGIN:initComponents
    // <editor-fold defaultstate="collapsed" desc="Generated Code">
    private void initComponents() {

        jLabel1 = new javax.swing.JLabel();
        jLabel2 = new javax.swing.JLabel();
        tfdMail = new javax.swing.JTextField();
        jScrollPane1 = new javax.swing.JScrollPane();
        ListShow = new javax.swing.JList();
        btnDfs = new javax.swing.JButton();
        btnExit = new javax.swing.JButton();

        jLabel1.setFont(new java.awt.Font("黑体", 0, 24));
        jLabel1.setForeground(new java.awt.Color(102, 102, 0));
        jLabel1.setText("\u7f51\u7edc\u8718\u86db");

        jLabel2.setFont(new java.awt.Font("黑体", 0, 18));
        jLabel2.setText("\u641c\u7d22\u7f51\u5740\uff1a");

        tfdMail.setFont(new java.awt.Font("黑体", 0, 24));
        tfdMail.addActionListener(new java.awt.event.ActionListener() {
            public void actionPerformed(java.awt.event.ActionEvent evt) {
                tfdMailActionPerformed(evt);
            }
        });

        ListShow.setFont(new java.awt.Font("黑体", 0, 18));
        ListShow.setForeground(new java.awt.Color(0, 153, 153));
        ListShow.setModel(new javax.swing.AbstractListModel() {
            String[] strings = { "" };

            public int getSize() {
                return strings.length;
            }

            public Object getElementAt(int i) {
                return strings[i];
            }
        });
        jScrollPane1.setViewportView(ListShow);

        btnDfs.setFont(new java.awt.Font("黑体", 0, 18));
        btnDfs.setText("\u641c\u7d22");
        btnDfs.addActionListener(new java.awt.event.ActionListener() {
            public void actionPerformed(java.awt.event.ActionEvent evt) {
                btnDfsActionPerformed(evt);
            }
        });

        btnExit.setFont(new java.awt.Font("黑体", 0, 18));
        btnExit.setText("\u9000\u51fa");
        btnExit.addActionListener(new java.awt.event.ActionListener() {
            public void actionPerformed(java.awt.event.ActionEvent evt) {
                btnExitActionPerformed(evt);
            }
        });

        javax.swing.GroupLayout layout = new javax.swing.GroupLayout(this);
        this.setLayout(layout);
        layout.setHorizontalGroup(layout
                .createParallelGroup(javax.swing.GroupLayout.Alignment.LEADING)
                .addGroup(
                        javax.swing.GroupLayout.Alignment.TRAILING,
                        layout.createSequentialGroup()
                                .addContainerGap(139, Short.MAX_VALUE)
                                .addComponent(jLabel1,
                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                        134,
                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                .addGap(127, 127, 127))
                .addGroup(
                        layout.createSequentialGroup()
                                .addGroup(
                                        layout.createParallelGroup(
                                                javax.swing.GroupLayout.Alignment.TRAILING,
                                                false)
                                                .addGroup(
                                                        layout.createSequentialGroup()
                                                                .addGap(20, 20,
                                                                        20)
                                                                .addComponent(
                                                                        jScrollPane1,
                                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                                        231,
                                                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                                                .addPreferredGap(
                                                                        javax.swing.LayoutStyle.ComponentPlacement.RELATED,
                                                                        62,
                                                                        Short.MAX_VALUE)
                                                                .addGroup(
                                                                        layout.createParallelGroup(
                                                                                javax.swing.GroupLayout.Alignment.TRAILING)
                                                                                .addComponent(
                                                                                        btnDfs)
                                                                                .addComponent(
                                                                                        btnExit)))
                                                .addGroup(
                                                        javax.swing.GroupLayout.Alignment.LEADING,
                                                        layout.createSequentialGroup()
                                                                .addGap(31, 31,
                                                                        31)
                                                                .addComponent(
                                                                        jLabel2,
                                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                                        100,
                                                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                                                .addPreferredGap(
                                                                        javax.swing.LayoutStyle.ComponentPlacement.RELATED)
                                                                .addComponent(
                                                                        tfdMail,
                                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                                        246,
                                                                        javax.swing.GroupLayout.PREFERRED_SIZE)))
                                .addContainerGap(18, Short.MAX_VALUE)));
        layout.setVerticalGroup(layout
                .createParallelGroup(javax.swing.GroupLayout.Alignment.LEADING)
                .addGroup(
                        layout.createSequentialGroup()
                                .addContainerGap()
                                .addComponent(jLabel1,
                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                        51,
                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                .addPreferredGap(
                                        javax.swing.LayoutStyle.ComponentPlacement.UNRELATED)
                                .addGroup(
                                        layout.createParallelGroup(
                                                javax.swing.GroupLayout.Alignment.BASELINE)
                                                .addComponent(
                                                        jLabel2,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                        43,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE)
                                                .addComponent(
                                                        tfdMail,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                        33,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE))
                                .addPreferredGap(
                                        javax.swing.LayoutStyle.ComponentPlacement.RELATED)
                                .addGroup(
                                        layout.createParallelGroup(
                                                javax.swing.GroupLayout.Alignment.LEADING)
                                                .addGroup(
                                                        javax.swing.GroupLayout.Alignment.TRAILING,
                                                        layout.createSequentialGroup()
                                                                .addComponent(
                                                                        btnDfs)
                                                                .addGap(30, 30,
                                                                        30)
                                                                .addComponent(
                                                                        btnExit))
                                                .addComponent(
                                                        jScrollPane1,
                                                        javax.swing.GroupLayout.Alignment.TRAILING,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE,
                                                        128,
                                                        javax.swing.GroupLayout.PREFERRED_SIZE))
                                .addContainerGap(53, Short.MAX_VALUE)));
    }// </editor-fold>
    //GEN-END:initComponents

    private void btnExitActionPerformed(java.awt.event.ActionEvent evt) {
        System.exit(0);
    }

    private void btnDfsActionPerformed(java.awt.event.ActionEvent evt) {
        // 1. 收集参数
        String str1 = tfdMail.getText();
        // 判断是输入的是否为网址格式
        String reg1 = "www.\\w+.(net|com|cn|org|cc|tv)";
        Pattern p2 = Pattern.compile(reg1);
        Matcher m2 = p2.matcher(str1);
        if (!m2.find()) {
            JOptionPane.showMessageDialog(this, "请输入正确的网址格式");
            return;
        }
        List<String> list = new ArrayList<String>();
        try {
            URL url = new URL("http://" + str1);
            BufferedReader br = new BufferedReader(new InputStreamReader(
                    url.openStream()));

            String reg = "\\w+@\\w+(\\.\\w+)+";
            Pattern p = Pattern.compile(reg);
            String str = null;
            while ((str = br.readLine()) != null) {
                Matcher m = p.matcher(str);
                while (m.find()) {
                    String s = m.group();
                    list.add(s);
                }
            }
            ListShow.setListData(list.toArray());
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }

    }

    private void tfdMailActionPerformed(java.awt.event.ActionEvent evt) {
        // TODO add your handling code here:
    }

    //GEN-BEGIN:variables
    // Variables declaration - do not modify
    private javax.swing.JList ListShow;
    private javax.swing.JButton btnDfs;
    private javax.swing.JButton btnExit;
    private javax.swing.JLabel jLabel1;
    private javax.swing.JLabel jLabel2;
    private javax.swing.JScrollPane jScrollPane1;
    private javax.swing.JTextField tfdMail;
    // End of variables declaration//GEN-END:variables

}

这里写图片描述

海那边的小萌男
关注
专栏目录
[网络安全自学篇] 十四.Python攻防之基础常识、正则表达式、Web编程和套接字通信（一）
杨秀璋的专栏
09-29 2万+
这是作者的系列网络安全自学教程，主要是关于网安工具和实践操作的在线笔记，特分享出来与博友共勉，希望您们喜欢，一起进步。前文分享了Wireshark抓包原理知识，并结合NetworkMiner工具抓取了图像资源和用户名密码，本文将讲解Python网络攻防相关基础知识，包括正则表达式、Web编程和套接字通信。本文参考了爱春秋ADO老师的课程内容，这里也推荐大家观看他Bilibili和ichunqiu的课程，同时也结合了作者之前的经验进行讲解。
基于J2EE的WEB邮件系统设计与实现(JSP+MYSQL)
04-23
基于J2EE的WEB邮件系统设计与实现(JSP+MYSQL),仅供参考。
网络蜘蛛（收集网页中的邮箱地址信息）
小琼
06-04 459
public class SpiderEx { public void getMails() throws Exception { URL url = new URL("http://www.hncu.cn");//收集的网页 BufferedReader bReader = new BufferedReader(new InputStreamReader(url.openStream()))...
基于J2EE的web邮件系统设计与实现
05-20
此邮箱系统功能主要分为管理员管理和用户管理两大部分，管理员管理主要包括管理用户信息、删除用户、管理后台系统等；用户管理主要包括用户个人信息的管理、个人邮箱的管理等。该系统可以根据需求对功能进行扩展和完善。
java web静态网页制作代码
09-30
我的第一个静态网页代码关于软件工程师在线报名的静态网页
Java网络编程：实现QQ邮件发送客户端
陆海潘江的博客
12-09 6094
本篇详细记录了使用Java网络编程的技术思想，初步实现QQ邮件发送客户端。从零开始学习，认识计算机网络邮件传输协议（SMTP、POP3），并开通QQ邮箱的smtp/pop3服务，为之后程序设计做准备，自行实现简单的Java GUI，通过命令方式发送邮件。
网络编程与Java正则表达式
最新发布
m0_70718945的博客
08-13 842
语法：“.”：匹配任何字符“\\d”：任何数字[0-9]的简写“\\D”：任何非数字[^0-9]的简写“\\s”：空白字符：[\t\n\x08\f\r]的简写“\\S”：非空白字符：[^\s]的简写“\\w”：单词字符：[a-zA-Z_0-9]的简写“\\W”：非单词字符：[^\W]
Java 网络编程四 C/S B/S(例:模拟浏览器、服务器、网络爬虫)
Dragon_Dai_2017的博客
08-15 1248
C/S 与 B/S ☆ C/S ( Client/Server ) 客户端和服务端的特点 1、客户端和服务端的软件都需要程序员进行编写。 2、客户端维护起来较为麻烦。 3、客户端的存在可以将一部分运算分离到客户端来运行，减轻了服务器端的压力。 ☆ B/S ( Browse/Server ) 浏览器和服务端的特点 1、客户端不用程序员编写，直接使用系统中具备的浏览器软件作为客
CrawlerForInternInfo:一个方便的网络爬虫，可以从几个目标网址中抓取招聘信息
06-12
网络爬虫，又称为网页蜘蛛或数据抓取程序，是一种自动浏览互联网并抓取信息的程序。在本项目"CrawlerForInternInfo"中，它被设计用于从特定的目标网址中获取实习生和招聘的相关信息。这个爬虫可以帮助用户省去手动...
【2021-09-22 修订】【梳理】计算机网络：自顶向下方法 第二章 应用层（docx）
COFACTOR
10-17 8911
计算机网络 知 识 梳 理 （第一版） 建议先修课程：数据结构。 配套教材： Computer Networking - A Top Down Approach, 7th edition James F. Kurose, Keith W. Ross 参考书目： 1、计算机网络（第7版） 谢希仁 编著 高等教育出版社 链接：https://pan.baidu.com/s/1MeSnQtQi8PYlzjFv-8RLLA 提取码：0000 二 应用层 2.1 网络应用背后的原理 现代网络应用程序常用的
Java开发常见专业术语
热门推荐
weixin_42408447的博客
05-10 1万+
1.脚本 脚本（Script），是使用一种特定的描述性语言，依据一定的格式编写的可执行文件。 2.http协议 HTTP协议，即超文本传输协议(Hyper text transfer protocol)。是一种详细规定了浏览器和万维网(WWW = World Wide Web)服务器之间互相通信的规则，通过因特网传送万维网文档的数据传送协议。 3.B/S结构和C/S结构 B/S（Browser/Server）：指浏览器和服务器架构。 C/S（Client/Server）：指客户端和服务器架构 4.报文 报文
计算机网络常见面试真题详解
Redemption___的博客
01-06 4768
计算机网络大厂面试真题详解
Jsoup简单例子——爬取网页内的邮箱
wl_Honest的博客
10-17 867
一、前言 Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API， 可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 主要功能：     1）从一个URL，文件或字符串中解析HTML     2）使用DOM或CSS选择器来查找、取出数据     3）可操作HTML元素、属性、文本 二、案例 这里以...
一个简单的爬虫douban_list_spider.py
崔炳华
07-21 883
源码在此： https://github.com/CuiBinghua/douban_list_spider/blob/master/douban_list_spider.py 1. 简介 douban_list_spider.py是一个简单的爬虫，可以根据关键字抓取豆瓣电影、豆瓣读书或者豆瓣音乐的条目信息. 2. Python环境 本人的Py
《互联网程序设计（Java）》——课程笔记9：邮件发送程序设计
bensonrachel的博客
11-03 1094
学会网络邮件发送的程序设计技术。      网络程序设计的精髓是什么？    就是客户端和服务器的对话和响应契约(协议)。 简单邮件传输协议SMTP可以很好地诠释这一点。    邮件传输协议包括SMTP（简单邮件传输协议，RFC821）及其扩充协议MIME；    邮件接收协议包括POP3和功能更强大的IMAP协议。 25端口（SMTP）：25端口为SMTP（Simple Mail Tr...
Larbin——一款c++编写的爬虫程序
zhoubl668的专栏：远帆，梦之帆！
03-31 2422
Larbin——一款c++编写的爬虫程序 2009-08-13 22:01     今天我读了一篇名叫“开源网络爬虫程序（spider)一览“的文章，然后就在列表的末尾看到了这个程序"Larbin"，由于它是唯一一个用c++写的，而在所有编程语言中我对于c++是最熟悉的，二话不说就开始找它的程序，打算自己配置运行一下，再看代码研究一下。 我在google 直接输入关键词"la
Java网络编程入门：JEditorPane展示网页示例
主要介绍了如何使用JEditorPane来显示网页，并且作为一份Java自学教程，涵盖了从基础到高级的Java技术，包括环境配置、基本语法、类和接口、Java Applet、图形处理、用户界面、异常处理、输入输出、数据库技术、网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值