java爬虫--利用java爬取网页数据的方法与思路,以爬取“食品许可公示的数据”为例

  • 项目背景   

    先说下背景,前几天老哥让帮忙从网上抓点数据,因为他是做食品添加剂的推广工作的,所以需要知道有哪些工厂或者厂家可能需要,然后他给了我一个网址----某许可证公示平台。既然是公示平台,数据应该就是公开的,爬起来应该不会被查水表吧,看这个警徽还是怕怕的 .......>_>

如下:

图已省略..........防止被查水表

    抓取的数据类似图上列表中的数据,但是他说还要厂家地址和食品类型,能有其他数据更好。

    然后我研究了下,发现图上页面是没有厂家地址的(但是我这个页面也抓了,服务器返回的是json格式的数据,解析下json数据存入数据库就行,这个平台貌似是近几个月才出的),也不够详细,在其他页面有带厂家地址的数据,给服务器发送请求返回的是html的数据,解析html数据,将所需数据存入数据库。

     带地址的网页长这样:

(URL:http://******websearch/SearchCardAction.do?operate=searchGyEntCard&operPage=card_spscxkz_list&cardtype=103):

    点击每个生产者名称都会跳出一个弹窗,该弹窗显示的是食品许可证的详细数据(后台服务器实际应该是以该公司在数据库中的uuid为条件,去详细查了下该生产许可证的信息,然后返回给了前端):

(URL:http://******/websearch/SearchCardAction.do?operate=viewGyEntCard&operPage=card_spscxkz_view&recid=2c9080845707bcc30159a66100300bd3)

    ok,现在目标很明确,就是从带厂家地址的网页上把所有公司的uuid拿到,然后以每个uuid作为URL变化的条件(“recid=”后面是变化的,拼接URL的时候将uuid拼在具体的链接上来访问服务器),从弹窗的那个页面拿到详细的数据,存入数据库。

  • 项目环境

    ide:intellij IDEA 2017.2.5

    编程语言:java

    数据库:mysql

    管理工具:maven   

    需要导包:mysql-connector-java,jsoup(解析html)等,如果要解析json可能还要导入gson的包。

我把重要的依赖贴出来(默认大家都是使用过maven的,如果不使用maven,你可以到网上下载jar包添加到项目里):

 

<dependency>
    <groupId>com.google.code.gson</groupId>
    <artifactId>gson</artifactId>
    <version>2.8.0</version>
</dependency>
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.38</version>
</dependency>
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.9.2</version>
</dependency>
  • 项目详情

    思路上面说的差不多了,要补充的是,我们使用HttpURLConnection来连接服务器(httpclient等开源项目或者工具应该也行),对于POST请求和GET请求稍微有些区别,这个网上也比较多,大家可以自行百度或者Google。然后是代码,我把主要部分都贴出来,可能代码会有些不规范的地方,大家也可以指出,项目结构比较简单,代码也不长,直接主函数里面就执行完了所有的内容,新人拿来练手也不错。

项目整体的结构:

      1.主类部分

 

package main; /**
 * @Author tang_zhen
 * @Date 2018/3/7
 * @Description
 */
import model.DataBase;
import com.google.gson.JsonObject;
import service.dao.DBUtils;
import service.MyParse;

import java.io.*;
import java.net.HttpURLConnection;
import java.net.URL;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.List;

public class GetData {
    /**
     * 发起http请求并获取结果
     * @param requestUrl 请求地址
     */
    public static String getRequest(String requestUrl){
        String res="";
//        JsonObject object = null;
        StringBuffer buffer = new StringBuffer();
        try{
            URL url = new URL(requestUrl);
            //打开连接
            HttpURLConnection urlCon= (HttpURLConnection)url.openConnection();
            if(200==urlCon.getResponseCode()){//连接正常,获取输入流
                InputStream is = urlCon.getInputStream();
                InputStreamReader isr = new InputStreamReader(is,"GBK");
                BufferedReader br = new BufferedReader(isr);

                String str = null;
                while((str = br.readLine())!=null){
                    buffer.append(str);
                }
                //关闭流
                br.close();
                isr.close();
                is.close();
                res = buffer.toString();
                //如果是json数据可以这样解析然后返回JsonObject类型的对象
//                JsonParser parse =new JsonParser();
//                JsonObject res2 = (JsonObject)parse.parse(buffer.toString());
            }
        }catch(IOException e){
            e.printStackTrace();
        }
        return res;
    }

    public static String postDownloadRes(String path,String post){
        URL url = null;
        try {
            url = new URL(path);
            HttpURLConnection httpURLConnection = (HttpURLConnection) url.openConnection();
            httpURLConnection.setRequestMethod("POST");// Post请求
            // conn.setConnectTimeout(10000);//连接超时 单位毫秒
            // conn.setReadTimeout(2000);//读取超时 单位毫秒
            // POST需设置如下两行
            httpURLConnection.setDoOutput(true);
            httpURLConnection.setDoInput(true);
            // 获取URLConnection对象对应的输出流
            PrintWriter printWriter = new PrintWriter(httpURLConnection.getOutputStream());
            // 发送请求参数(post请求的参数一般可以从浏览器里查请求的时候看到参数是哪些)
            printWriter.write(post);//post的参数 形式为xx=xx&yy=yy
            
            // flush输出流的缓冲
            printWriter.flush();
            //开始获取数据
            BufferedInputStream bis = new BufferedInputStream(httpURLConnection.getInputStream());
            ByteArrayOutputStream bos = new ByteArrayOutputStream();
            int len;
            byte[] arr = new byte[1024];
            while((len=bis.read(arr))!= -1){
                bos.write(arr,0,len);
                bos.flush();
            }
            bos.close();
            //如果是json数据可以这样解析然后返回JsonObject类型的对象
//          JsonParser parse =new JsonParser();
//          JsonObject res2 = (JsonObject)parse.parse(bos.toString("utf-8"));
            return bos.toString("utf-8");
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }

    //测试
    public static void main(String args [] ) {
//        JsonObject res = null;
        String responseStr = null;
        JsonObject res2 = null;
//        for (int k=1;k<=631;k++) {
//           //获取某一页的数据可以根据“nextPageNo=*”来指定,就是字符串拼接下,把1换成n
       String str = "gyEntcardprint.cardid=&gyEntcardprint.name=&pageModel.nextPageNo="+1+"&pageModel.pageSize=12&cardtype=103";
            responseStr = postDownloadRes("wssb/websearch/SearchCardAction.do?operate=searchGyEntCard&operPage=card_spscxkz_list&cardtype=103&pageModel.afreshQuery=true", str);
            //System.out.println(responseStr);
            try {
         //第一个页面中拿到的是一个列表,是一页的数据
                List<DataBase> list = MyParse.getData(responseStr);
                for (DataBase dataBase : list) {
                    String str1 = "wssb/websearch/SearchCardAction.do?operate=viewGyEntCard&operPage=card_spscxkz_view&recid="+dataBase.getId();
                    String responseStr1 = getRequest(str1);
                    System.out.println(responseStr1);
                    MyParse.getTotalData(responseStr1,dataBase.getId());
                    //存id和公司名到第一张表里
//                    insert(dataBase);
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
            //这部分注释的是json解析的部分,之前访问过的网址返回的是json数据(嵌套了有多层)
//            JsonArray member = responseStr.getAsJsonArray("zsList");
//            for (int i = 0; i < member.size(); i++) {
//                JsonElement elements = member.get(i);
//                JsonElement name = elements.getAsJsonObject().get("name");
//                JsonElement id = elements.getAsJsonObject().get("id");
//                DataBase db = new DataBase(id.toString(), name.toString());
//                System.out.println(name);
//                System.out.println(id);
//                insert(db);
//            }
//        }

    }
}

主函数部分就是打开连接,模拟浏览器与服务器交互,接收从服务器返回的数据,再调用MyParse类中的getData等从数据中拿到想要的数据:

    2.解析部分:

 

import model.DataBase;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import service.dao.DBUtils;

import java.util.ArrayList;
import java.util.List;

/**
 * @Author tang_zhen
 * @Date 2018/3/8
 * @Description
 */
public class MyParse {
    /**
     * 获取每个公司的id和姓名
     * @param html
     * @return
     * @throws Exception
     */
    public static List<DataBase> getData(String html) throws Exception {
        //获取的数据,存放在集合中
        List<DataBase> data = new ArrayList<DataBase>();
        //System.out.println(html.length()+"HTML长度");
        //System.out.println(html);
        //采用Jsoup解析
        Document doc = Jsoup.parse(html);
        //System.out.println(doc.text() + "doc内容");
        //获取html标签中的内容
        Elements elements = doc.select("tr[class=Items]");
        System.out.println(elements.size() + "****条");
        for (Element element:elements)
        {
            Element link = element.select("a").first();
            String text = element.select("a").get(1).text();

            String linkHref = link.attr("href");
            String[] newLinkHrefArray = linkHref.split("\'");
            String newLinkHref =newLinkHrefArray[1];

//            System.out.println(newLinkHref+"------"+text);
            DataBase dataBase = new DataBase();
            dataBase.setId(newLinkHref);
            dataBase.setName(text);
            data.add(dataBase);
//            insert(dataBase);
        }
        return data;
    }

    /**
     * 根据id获取弹窗上详细的数据
     * @param html
     * @param id
     */
    public static void getTotalData(String html,String id) {
        List<DataBase> data = new ArrayList<DataBase>();
        //System.out.println(html.length()+"HTML长度");
        //采用Jsoup解析
        Document doc = Jsoup.parse(html);
        //System.out.println(doc.text() + "doc内容");
        //获取html标签中的内容
        Elements elements = doc.select("tr");
//        System.out.println(elements.size() + "****条");
        DataBase dataBase=new DataBase();
        for (Element element:elements)
        {   //jsoup的具体解析你们可以百度一下,根据内容不一样,获取的方式也不太一样,我这个内容算是比较简单的了,
            // 复杂的html内容获取某个数据,一行可能都写不下
            if(element.select("td").first().text().equals("生产者名称"))
            {
                String name = element.select("td").get(1).text();
                if (name==null) name="";
                dataBase.setName(name);
            }
            if(element.select("td").first().text().equals("住所"))
            {
                String homeAddress = element.select("td").get(1).text();
                if(homeAddress==null) homeAddress="";
                dataBase.setHomeAddress(homeAddress);
            }
            if(element.select("td").first().text().equals("生产地址"))
            {
                String address = element.select("td").get(1).text();
                if (address==null) address="";
                dataBase.setAddress(address);
            }

            if(element.select("td").first().text().equals("食品类别"))
            {
                String foodType = element.select("td").get(1).text();
                if(foodType==null) foodType="";
                dataBase.setFoodType(foodType);
            }
            if(element.select("td").first().text().equals("发证日期"))
            {
                String dateOfIssue = element.select("td").get(1).text();
                if (dateOfIssue==null) dateOfIssue="";
                dataBase.setDateOfIssue(dateOfIssue);
                //截止日期
                String cutOffDate = element.select("td").get(3).text();
                if(cutOffDate==null) cutOffDate="";
                dataBase.setCutOffData(cutOffDate);
            }
            dataBase.setId(id);
        }
        //将bean中的数据存入数据库
        DBUtils.insert(dataBase);
    }
}

3.数据库部分

主要是jdbc的内容,大家应该也都会(已省略...防止被查水表):

 

最后是效果:

上图是打印出来的服务器返回的html,下图是存入数据库的数据截图:

    另外,我觉得有必要贴一下返回的html的部分内容,这样如果想知道如何利用jsoup解析html的可以对照着html的结构看下我的代码是如何解析的:

 

<table width="99%" border="0" cellpadding="0" cellspacing="1" id="wrap_1" align="center">
  <tr>
    <td class="td_content">
        <table width="100%" border="0" cellpadding="0" cellspacing="1" id="content">
        <tr>
             <td width="15%"  class="bai_right">证书名称</td>
             <td   class="bai_left" colspan="3"><input type="hidden" name="cardtype" value="" id="cardnametype">
            食品生产许可证
          </td>
        </tr>
        <tr>
             <td width="15%"  class="bai_right">证书编号</td>
             <td class="bai_left" colspan="3" >******</td>
      </tr>
        <tr>
             <td width="15%" class="bai_right">生产者名称</td>
             <td  class="bai_left" colspan="3">*****食品有限公司</td>
        </tr>
        <tr>
             <td width="15%" class="bai_right">社会信用代码</td>
             <td width="35%" class="bai_left" >*********</td>
             <td width="15%" class="bai_right">法定代表人</td>
             <td width="35%" class="bai_left" >林益华</td>
        </tr>
           <tr>
             <td width="15%" class="bai_right">住所</td>
             <td  class="bai_left" colspan="3">******</td>
        </tr>
        <tr>
             <td width="15%" class="bai_right">生产地址</td>
             <td  class="bai_left" colspan="3">***********</td>
        </tr>
      <tr>
             <td width="15%" class="bai_right">食品类别</td>
             <td class="bai_left" colspan="3"></td>
        </tr>
        <tr>
             <td width="15%" class="bai_right">日常监督管理机构</td>
             <td width="35%" class="bai_left"></td>
             <td width="15%" class="bai_right">日常监督管理人员</td>
             <td width="35%" class="bai_left"></td>
         </tr>
       <tr>
             <td width="15%" class="bai_right">签发人</td>
             <td width="35%" class="bai_left"></td>
             <td width="15%" class="bai_right">发证机关</td>
             <td width="35%" class="bai_left"></td>
         </tr>
       <tr>
             <td width="15%" class="bai_right">发证日期</td>
             <td width="35%" class="bai_left">2012-08-08</td>
             <td width="15%" class="bai_right">截止日期</td>
             <td width="35%" class="bai_left">2018-07-30</td>
         </tr>
        </table>
  • 项目总结

    其实整个项目就是个小程序,小爬虫,总体来说技术不算难,结构也很简单,大部分用到的技术和知识网上也挺多的,不管咋说,作为一个菜鸟程序猿,毕竟还是用自己所学的技术解决掉了一个比较现实的问题吧。然后就是,我发现代码跑起来是真的慢啊!爬一页数据,大概要两秒多?我猜问题主要是出在了数据库那,因为我是用完一个连接就直接关闭了,早知道慢成这样就用个数据库的连接池了.....

    PS:代码里面的URL都不是完整的,如果你们要实验,还是换个网站吧,这个毕竟是政府网站,虽然数据也是公开的数据,但是连接太多对服务器是有压力的,崩了就不好了,万一被查水表呢。还有就是有的网站可能会拒绝连接,有的防止类似的爬虫爬取页面的时候会做一些措施,多次连接IP会被拉黑。有啥问题直接留言,第一次写博客,大家多多包涵,之前都是在有道云笔记里记东西。

 

 

 

 

 

 

 

 

<span style="color:#404040;">1.算法是程序的灵魂,优秀的程序在对海量数据处理时,依然保持高速计算,就需要高效的数据结构和算法支撑。</span><br /><br /><span style="color:#404040;">2.网上数据结构和算法的课程不少,但存在两个问题:</span><br /><br /><span style="color:#404040;">1)授课方式单一,大多是照着代码念一遍,数据结构和算法本身就比较难理解,对基础好的学员来说,还好一点,对基础不好的学生来说,基本上就是听天书了</span><br /><span style="color:#404040;">2)说是讲数据结构和算法,但大多是挂羊头卖狗肉,算法讲的很少。 本课程针对上述问题,有针对性的进行了升级 </span><br /><span style="color:#404040;">3)授课方式采用图解+算法游戏的方式,让课程生动有趣好理解 </span><br /><span style="color:#404040;">4)系统全面的讲解了数据结构和算法, 除常用数据结构和算法外,还包括程序员常用10大算法:二分查找算法(非递归)、分治算法、动态规划算法、KMP算法、贪心算法、普里姆算法、克鲁斯卡尔算法、迪杰斯特拉算法、弗洛伊德算法、马踏棋盘算法。可以解决面试遇到的最短路径、最小生成树、最小连通图、动态规划等问题及衍生出的面试题,让你秒杀其他面试小伙伴</span><br /><br /><span style="color:#404040;">3.如果你不想永远都是代码工人,就需要花时间来研究下数据结构和算法。</span><br /><br /><span style="color:#404040;">教程内容:</span><br /><span style="color:#404040;">本教程是使用Java来讲解数据结构和算法,考虑到数据结构和算法较难,授课采用图解加算法游戏的方式。内容包括: 稀疏数组、单向队列、环形队列、单向链表、双向链表、环形链表、约瑟夫问题、栈、前缀、中缀、后缀表达式、中缀表达式转换为后缀表达式、递归与回溯、迷宫问题、八皇后问题、算法的时间复杂度、冒泡排序、选择排序、插入排序、快速排序、归并排序、希尔排序、基数排序(桶排序)、堆排序、排序速度分析、二分查找、插值查找、斐波那契查找、散列、哈希表、二叉树、二叉树与数组转换、二叉排序树(BST)、AVL树、线索二叉树、赫夫曼树、赫夫曼编码、多路查找树(B树B+树和B*树)、图、图的DFS算法和BFS、程序员常用10大算法、二分查找算法(非递归)、分治算法、动态规划算法、KMP算法、贪心算法、普里姆算法、克鲁斯卡尔算法、迪杰斯特拉算法、弗洛伊德算法马踏棋盘算法。</span><br /><br /><span style="color:#404040;">学习目标:</span><br /><span style="color:#404040;">通过学习,学员能掌握主流数据结构和算法的实现机制,开阔编程思路,提高优化程序的能力。</span>
相关推荐
©️2020 CSDN 皮肤主题: 1024 设计师:白松林 返回首页