用Java程序爬取网页地址，电话

已于 2023-03-15 20:46:54 修改
阅读量1.2k 收藏 2
点赞数
分类专栏： Java 文章标签： JAVA
于 2018-01-05 16:09:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Elliot_2b/article/details/78982489
版权

1.test.java

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.util.HashMap;

import java.util.Map;

public class test {

    public static void main(String[] args) throws Exception {

        int[] shopIdList=new int[]{
                50312563,
                92876536,
                22097321,
                41051116,
                13113097,
                68892758,
                73445642,
                13111733,
                73477278,
                93793067,
                93689649,
                80808017,
                62279433,
                73488605,
                50342122,
                92227067,
                44163423,
                79249736,
                94046038,
                32628063,
                13113771,
                68277921,
                13110873,
                13113505,
                13111764,
                48297440,
                73484839,
                41459573,
                69358429,
                73443708,
                71249905,
                10538942,
                13111070,
                13112312,
                41259426,
                62996680,
                48404120,
                44142507,
                43776712,
                45352099,
                70075166,
                79107710,
                73450151,
                16671845,
                13111241,
                13110710,
                70159730,
                93434655,
                65823268,
                73494608,
                97173829,
                43760043,
                78998150,
                70411653,
                97048620,
                23542698,
                93299200,
                62380363,
                13112989,
                92525324,
                9592171,
                92887084,
                28616571,
                67655539,
                16713892,
                13119853,
                21023053,
                13120114,
                19451694,
                13120361,
                19817673,
                17724275,
                13120349,
                70197364,
                44017351,
                62912981,
                77708553,
                77863895,
                13120201,
                24640426,
                16322224,
                13120008,
                62984143,
                44138422,
                62842193,
                13120213,
                13120380,
                13119913,
                14630595,
                62370768,
                13120249,
                69886952,
                13120122,
                14630594,
                13119831,
                77936903,
                13120129,
                66565778,
                77856662,
                58929641,
                80709972,
                62997305,
                67114391,
                77675166,
                79038201,
                80661103,
                13120464,
                16673316,
                92922849,
                77934891,
                77611980,
                13120265,
                70355164,
                38204276,
                13120007,
                21020766,
                13120024,
                63619708,
                63504700,
                78008237,
                13120261,
                13120391,
                14630470,
                15576737,
                69474183,
                16473023,
                90075588,
                77825833,
                62902568,
                43757568,
                13120151,
                44274667,
                90081825,
                44269009,
                77977776,
                93217968,
                43914698,
                92927515,
                71723659,
                76875545,
                40245158,
                97074853,
                97075050,
                97074960,
                96688405
        };

        String[] uas=new String[] {
                "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; QQDownload 734; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; GTB7.5; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; QQBrowser/7.4.14016.400)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; GTB7.5; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; GTB7.4; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; GTB7.4; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; InfoPath.3; KB974488)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; chromeframe/28.0.1500.72; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; Tablet PC 2.0; QQBrowser/7.4.14018.400)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; WebSaver; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET4.0C; .NET4.0E; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; InfoPath.2)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; SV1; QQBrowser/7.4.14018.400)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; SV1; InfoPath.3; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; SV1; InfoPath.3)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; SV1; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 2.0.50727)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; SV1; .NET CLR 2.0.50727; InfoPath.3; QQBrowser/7.3.11251.400)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; SV1; .NET CLR 2.0.50727; .NET4.0C; .NET4.0E; InfoPath.2)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; SV1; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; SV1;  Embedded Web Browser from: http://bsalsa.com/; InfoPath.3; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; SV1)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; SMT Player 3.9.1.430; .NET CLR 2.0.50727; LBBROWSER)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; QQDownload 718; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; QQDownload 677; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; QQBrowser/7.4.14018.400)"
        };
        try {
            for(int i=0;i<shopIdList.length;i++) {
                getHtml("https://m.dianping.com/shop/"+shopIdList[i],shopIdList[i],uas[i/10]);
                Thread.sleep(5000);
            }
        } catch (Exception e) {

        }
    }


    /**
     * 解析json数据获取相关信息
     * @param url
     * @throws Exception
     */
    public static void getHtml(String url,int shopId,String ua) throws Exception {

        Connection conInfo = Jsoup.connect(url);
        conInfo.timeout(5000);
        //conInfo.followRedirects(true);
        //conInfo.ignoreContentType(false);
        //conInfo.header("Accept","text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8");

        //String ua="Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; SE 2.X MetaSr 1.0)";
        //"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"

        conInfo.userAgent(ua);
        //Map<String, String> cookies=new HashMap<>();
        //cookies.put("default_ab","shop%3AA%3A1");
        //cookies.put("_lxsdk_s","%7C%7C0");
        //conInfo.cookies(cookies);

        Document doc = null;
        Connection.Response response = null;
        try {
            doc  = conInfo.get();
            parseCommentInfo(doc,shopId);
        } catch (Exception e) {

        }

        //某地区娱乐
        //JsonCommentParse.getDate(doc);
        //  JsonCommentKCShopping.getDate(doc);
    }



    /**
     * 获取地址，电话
     * @param doc
     * @param shopId
     */
    private static void parseCommentInfo(Document doc, int shopId) {
        // List<CommentMDSP> commentMDSPList = new ArrayList<CommentMDSP>();
        Map<String, Object> map = new HashMap<String, Object>();
        String zxphone = null;
        String address = null;
        //获取地址
//        String address1 = doc.select(".J_address .info-list.link-list .item").text();
//        Elements address2 = doc.select(".info-details .add");
//        Elements elements = doc.select("#lego-widget-shopping-mall-header-free-000-000");

        String address1 = doc.select(".J_address .info-list.link-list .item").text();
        Elements address2 = doc.select(".info-details .add");
        Elements elements = doc.select("#lego-widget-shopping-mall-header-free-000-000");
        if(!(address1.isEmpty())){
            address = address1;
            //获取电话
            zxphone = doc.select(".J_phone .info-list.link-list .item ").text();
        }
        if(address2 != null && address2.size()>0){
            //获取地址
            for(Element address3 : address2){
                address = address3.select("a:nth-child(1)").text();
                //获取电话
                String zxphone1 = doc.select("a:nth-child(2)").attr("href");
                int i = zxphone1.indexOf(":");
                zxphone = zxphone1.substring(i);
            }
        }
        if(elements != null && elements.size()>0){
            for(Element ele : elements){
                address = ele.select(".mall-location span").text();
            }

        }

        map.put("address",address);
        map.put("zxphone",zxphone);
        map.put("shopId",shopId);

//        if(elements != null && elements.size()>0){
//            for(Element ele : elements){
//                address = ele.select(".mall-location span").text();
//            }
//
//        }

//        CommentMDSP commentMDSP = new CommentMDSP();
//        commentMDSP.setAddress(address);
        //commentMDSP.setZxphone(zxphone);
        map.put("address", address);
        map.put("zxphone", zxphone);
        map.put("shopId", shopId);
        System.out.println(" update s_tainment set address='"+address+"',zxphone='"+zxphone+"' where shopId="+shopId+";");


    }

}

2.pom.xml

 <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.8.3</version>
        </dependency>

3.注意点

这里的pom.xml导入依托的jar包，然后执行test.java主函数，输出指定网站中爬取的地址和电话信息；

同时这里的UA设置这么多，是因为网站限制访问次数

布鲁斯的调调
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
在eclipse通过爬虫获取指定地区美团酒店的酒店名字
时间(实践)是检验真理的唯一标准
05-15 1873
简单介绍下流程,通过访问美团连接,得到相应的数据,对数据进行处理即可以北京的美团酒店为例http://hotel.meituan.com/beijing通过f12查看到酒店的名字绑定的class是poi-title-wrapper所以我们可以直接通过jsoup选择节点 @Test public void testName11() throws Exception { Document doc...
java爬取电话号码_Java|如何使用“Java”爬取电话号码
weixin_42236014的博客
02-26 1047
前言下面会介绍如何使用“Java”去爬取到一个网站的电话号码。使用到的一些基本语法与定义：IO流，正则表达式，如过不清楚可以先去了解一下，当然在下文中也会做出对应使用介绍与解释。具体步骤在这个小实验里，新建一个class文件就可以完成。首先需要写一个main函数，在idea和eclipse里都有快捷键，可以自行查阅。这里用的idea，直接psvm就可以完成。接下来就是在main函数里写需要的代码：...
java获取当前网页的url
最新发布
weixin_32268169的博客
07-01 78
获取当前网页的URL 在开发Web应用程序时，有时我们需要获取当前网页的URL来进行一些操作，比如记录用户访问的页面，或者根据不同的URL展示不同的内容等。在Java中，我们可以通过一些方法来获取当前网页的URL。下面就让我们来了解一下如何在Java中获取当前网页的URL。 使用ServletRequest来获取URL 在...
MinerHtmlThread.java 爬取页面线程
weixin_30809333的博客
03-26 50
MinerHtmlThread.java 爬取页面线程 package com.iteye.injavawetrust.miner; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.jsoup.Connection; import org.j...
java 获取网址的IP地址
06-21
java 获取网址的IP地址 java 获取网址的IP地址 java 获取网址的IP地址
java获取当前网站的IP地址
12-26 688
1 package ip; 2 3 import java.net.InetAddress; 4 import java.net.UnknownHostException; 5 6 /** 7 * 8 * @author 9 * 10 */ 11 public class Ipspider { 12 13 publi...
java获取请求的url地址
ＢabyＦace゛‐尐蔡。的博客
08-19 4292
1.获取全路径 request.getRequestURL(); //得到http://localhost:8888/CRM/loginController/login 2.获取协议名和域名 request.getScheme(); //得到协议名 例如：http request.getServerName(); //得到域名 localhost 3.获取请求所有参数 //map类型 requ...
用JavaURL编程爬取并分析网页敏感词
07-16
（1）编写界面，输入一个网址，能够爬取该网址上所有的HTML源代码。 （2）对网址中的文本进行提取。...程序可爬取这些网址中的文本内容，将敏感词记录存入另一个文件，格式自定。 （6）编写一个主界面,整合上述功能。
Java实现爬取往期所有双色球开奖结果功能示例
08-27
本文主要介绍了使用Java实现爬取往期所有双色球开奖结果的功能，涉及Java网页抓取、正则替换、文件读写等相关操作技巧。 首先，需要了解Java网页抓取的基本原理，即使用HttpURLConnection获取网页的HTML内容，然后...
Java爬取网页信息,并导出到Excel
04-01
在本文中，我们将深入探讨如何使用Java编程语言来爬取网页信息，并将其导出到Excel文件。这是一个实用的技能，特别是在数据分析、市场研究或者自动化报告生成等场景中。首先，我们需要了解Java爬虫的基本概念，然后...
Java爬虫爬取网页数据
11-07
下面将详细介绍Java爬虫的基本概念、常用库以及如何使用它们来爬取网页数据。 一、Java爬虫基础 1. 网页抓取：爬虫通过发送HTTP请求到目标服务器，获取HTML响应。这可以通过构建URL并使用HTTP方法（GET或POST）来...
JAVA 爬虫技术爬取网页内指定链接和图片
10-27
JAVA 爬虫技术爬取网页内指定链接和图片。JAVA 爬虫技术爬取网页内指定链接和图片。JAVA 爬虫技术爬取网页内指定链接和图片。JAVA 爬虫技术爬取网页内指定链接和图片。
java 网页转手机号码_爬网页获取电话号码
weixin_42512249的博客
02-27 400
1 import java.io.BufferedReader;2 import java.io.IOException;3 import java.io.InputStream;4 import java.io.InputStreamReader;5 import java.net.URL;6 import java.net.URLConnection;7 import java.util.re...
Java 正则表达式实现爬虫套路，爬取手机号，电话，邮箱信息
cfqp123456的博客
03-31 1930
Java 正则表达式实现爬虫套路，爬取手机号，电话，邮箱信息 10秒读懂爬虫流程
Java|如何使用“Java”爬取电话号码
算法与编程之美
03-30 1138
欢迎点击「算法与编程之美」↑关注我们！本文首发于微信公众号："算法与编程之美"，欢迎关注，及时了解更多此系列文章。前言下面会介绍如何使用...
爬网页获取电话号码
weixin_33725722的博客
08-06 3096
明天补充 1 import java.io.BufferedReader; 2 import java.io.IOException; 3 import java.io.InputStream; 4 import java.io.InputStreamReader; 5 import java.net.URL; 6 import java.net.URLConnecti...
java正则表达式判断手机号_简单Java爬虫（一）爬取手机号码
weixin_39618339的博客
11-20 443
原创 野狗菌 希望你能喜欢 今天关于本文：本文介绍一个简单Java爬虫，获取网页源码，爬取电话号码。本篇教程用我的博客一个测试网页演示。——野狗菌【希望你能喜欢】测试页面：https://www.wayteam.xyz/archives/phonenumber源代码：（注释写的很详细了，太艰难，就直接放代码，不做多解释了）import java.io.*; import java.net.URL;...
Java爬虫（三）--获取网页中的所有地址
水里的鱼不会羡慕陆地爬行的动物
04-15 961
在这里就懒得处理异常，代码很简单，看注释 package test; import java.net.URL; import java.util.ArrayList; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; import org.jsoup.Jsoup; ...
使用Java HttpClient爬取网页数据教程
"该资源是一个关于使用Java进行网络爬虫数据抓取的教程，主要介绍了如何使用HttpClient库来实现简单的网页抓取。教程指出爬虫是获取大量互联网数据的有效手段，特别是对于科研活动中的数据需求。八爪鱼·云采集网络...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值