目标
本节目标为爬取成都市高新区2017-2018年所有预/现售楼盘信息
输出格式为:楼盘名 用途 开发商 地址 预售日期
数据来源:成都市城乡房产管理局
说明:urllib和beautifulsoup的使用教程网上很多,这里不详细说明了
网站分析
通过分析页面,发现页面使用了ajax技术,请求的url始终是同一个,通过post的数据来切换数据,数据位于id为ID_ucShowNew_gridView的table中
<table cellspacing="0" cellpadding="0" rules="all" border="1" id="ID_ucShowNew_gridView" style="border-width:1px;border-style:Solid;font-size:12px;width:100%;border-collapse:collapse;margin-bottom: 10px">
<tbody><tr class="boxHeader" align="center" style="height:24px;">
<th class="boxItem" align="center" scope="col">预/现售号</th><th class="boxItem" align="center" scope="col">项目名称</th><th class="boxItem" align="center" scope="col">行政区域</th><th class="boxItem" align="center" scope="col">项目地址</th><th class="boxItem" align="center" scope="col">房屋用途</th><th class="boxItem" align="center" scope="col">开发商</th><th class="boxItem" align="center" scope="col">预售面积(平方米)</th><th class="boxItem" align="center" scope="col">预售日期</th><th class="boxItem" align="center" scope="col">备注</th>
</tr><tr>
<td class="boxItem" align="left" style="width:55px;">101805</td><td class="boxItem" align="left" style="width:70px;">锦城悦庭</td><td class="boxItem" align="left" style="width:50px;">高新区</td><td class="boxItem" align="left">高新区康和西一街199号</td><td class="boxItem" align="left" style="width:50px;">住宅、公寓、商业</td><td class="boxItem" align="left" style="width:100px;">成都科普尔房地产开发有限公司</td><td class="boxItem" align="left">48366.77</td><td class="boxItem" align="left" style="width:75px;">
<span id="ID_ucShowNew_gridView_ctl02_lbl1">2018-10-15</span>
</td><td class="boxItem" align="left" style="width:70px;"> </td>
</tr><tr>
<td class="boxItem" align="left" style="width:55px;">101797</td><td class="boxItem" align="left" style="width:70px;">朗诗熙华府</td><td class="boxItem" align="left" style="width:50px;">高新区</td><td class="boxItem" align="left">成都市高新区盛治街777号</td><td class="boxItem" align="left" style="width:50px;">车位</td><td class="boxItem" align="left" style="width:100px;">寰安置业(成都)有限公司</td><td class="boxItem" align="left">39951.38</td><td class="boxItem" align="left" style="width:75px;">
<span id="ID_ucShowNew_gridView_ctl03_lbl1">2018-10-12</span>
</td><td class="boxItem" align="left" style="width:70px;"> </td>
</tr><tr>
<td class="boxItem" align="left" style="width:55px;">101787</td><td class="boxItem" align="left" style="width:70px;">龙湖时代天街广场</td><td class="boxItem" align="left" style="width:50px;">高新区</td><td class="boxItem" align="left">高新区合作路89号</td><td class="boxItem" align="left" style="width:50px;">商业、办公</td><td class="boxItem" align="left" style="width:100px;">成都龙湖锦鸿置业有限公司</td><td class="boxItem" align="left">42491.23</td><td class="boxItem" align="left" style="width:75px;">
<span id="ID_ucShowNew_gridView_ctl04_lbl1">2018-10-11</span>
</td><td class="boxItem" align="left" style="width:70px;"> </td>
</tr><tr>
<td class="boxItem" align="left" style="width:55px;">101778</td><td class="boxItem" align="left" style="width:70px;">宸光名邸</td><td class="boxItem" align="left" style="width:50px;">高新区</td><td class="boxItem" align="left">高新区雅和北三路350号</td><td class="boxItem" align="left" style="width:50px;">商业</td><td class="boxItem" align="left" style="width:100px;">成都万锦南府置业有限公司</td><td class="boxItem" align="left">8185.46</td><td class="boxItem" align="left" style="width:75px;">
<span id="ID_ucShowNew_gridView_ctl05_lbl1">2018-10-10</span>
</td><td class="boxItem" align="left" style="width:70px;"> </td>
</tr><tr>
<td class="boxItem" align="left" style="width:55px;">101755</td><td class="boxItem" align="left" style="width:70px;">宸光名邸</td><td class="boxItem" align="left" style="width:50px;">高新区</td><td class="boxItem" align="left">高新区雅和北三路350号</td>