抓取网页数据并解析

最新推荐文章于 2024-04-02 10:14:05 发布

yuanbieli

最新推荐文章于 2024-04-02 10:14:05 发布

阅读量1.3w

点赞数 2

分类专栏： Android开发（原创）文章标签：网页抓取 jsoup Android

本文链接：https://blog.csdn.net/yuanbieli/article/details/50773603

版权

抓取考研网上的调剂信息，并使用jsoup解析HTML文档，把数据导入到Excel中进行下一步处理

摘要由CSDN通过智能技术生成

这天遇到这样一个需求：这种页面数据可以抓取吗？

随后提供了账号、密码和网站地址：

帐号：kytj1

密码：******************

登陆地址：http://student.tiaoji.kaoyan.com/tjadm

主要思路：

1、使用Fiddler4分析http请求交互方式，包括数据发送方式（POST或GET），携带参数等，获得返回的数据信息

2、用Android程序模拟HTTP请求

3、用Java解析HTML代码，提取出对应的姓名、报考学校、报考专业、分数、联系电话、发布时间等字段

4、把txt文件导入到Excel里，待进一步处理。

用Fiddle查看数据包

1、打开Fiddler

2、打开网站，填入用户名和密码，点击登录

登陆地址：http://student.tiaoji.kaoyan.com/tjadm

3、观察Filldder抓到的包

可以看到HOST、URL、POST方式以及明文密码

4、观察网页数据

登录成功后，网页数据显示为

对应的Filldder抓包数据为

可以看到请求的HOST以及URL，方式为GET，返回的数据也可以在body体中获取到。

5、HTML代码

返回的HTML页面代码为（选取了部分）

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=3.0,user-scalable=no ">
<title>考研调剂中心_考研调剂意向发布系统_考研调剂_考研网（kaoyan.com）</title>
<meta name="description" content="" />
<link rel="stylesheet" type="text/css" href="http://img.kaoyan.com/tiaoji/css/tiaoji-h5.css" />
<link href="http://img.kaoyan.com/global/style/header.css" rel="stylesheet">
<link href="http://img.kaoyan.com/yz/style/yz.index.css" rel="stylesheet">
<script type='text/javascript' src='http://cbjs.baidu.com/js/m.js'></script>
</head>
<body>
<div class="kyHd">
    <div class="kyTop">
        <script src="http://img.kaoyan.com/www/header-tiaoji.js" type="text/javascript"></script>
        <script src="http://img.kaoyan.com/www/headera.js" type="text/javascript"></script>
    </div>
</div>
<div style="height:10px;"></div>
<div class="w1000ad tc">
    <script type="text/javascript">/*考研网-大通栏-通用*/var cpro_id = "u1773335";</script>
    <script src="http://cpro.baidustatic.com/cpro/ui/c.js" type="text/javascript"></script>
</div>
<ul class="nav" id="tjNav">
    <li><a href="http://tiaoji.kaoyan.com/" title="考研调剂首页">调剂首页</a></li>
    <li><a href="http://www.kaoyan.com/kaoyan/27/474572/" title="考研调剂流程" target="_blank">调剂流程</a></li>
    <li><a href="http://www.kaoyan.com/tiaoji/xinxi/" title="考研调剂信息">调剂信息</a></li>
    <li><a href="http://tiaoji.kaoyan.com/xinwen/" title="考研调剂新闻">调剂新闻</a></li>
    <li><a href="http://tiaoji.kaoyan.com/jingyan/" title="考研调剂经验">调剂经验</a></li>
    <li><a href="http://tiaoji.bbs.kaoyan.com/" title="考研调剂论坛" target="_blank">调剂论坛</a></li>
</ul>
<div class="courseArea">
    <ul class="tjPicAd mt10 clear">
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("850729");</script></li>
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("850747");</script></li>
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("850763");</script></li>
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("850766");</script></li>
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("869710");</script></li>
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("869712");</script></li>
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("869713");</script></li>
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("869714");</script></li>
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("869898");</script></li>
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("869899");</script></li>
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("869901");</script></li>
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("869902");</script></li>
    </ul>
    <ul class="tjPicAd clear">
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("859514");</script></li>
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("859516");</script></li>
        <li><script type="text/javascript">BAIDU_CLB_fillSlot("859517");</script></li>