《跟我一起学爬虫系列》4-使用urllib和beautifulsoup爬取网页

目标

本节目标为爬取成都市高新区2017-2018年所有预/现售楼盘信息

输出格式为：楼盘名   用途  开发商  地址  预售日期

数据来源：成都市城乡房产管理局

说明：urllib和beautifulsoup的使用教程网上很多，这里不详细说明了

网站分析

通过分析页面，发现页面使用了ajax技术，请求的url始终是同一个，通过post的数据来切换数据，数据位于id为ID_ucShowNew_gridView的table中

<table cellspacing="0" cellpadding="0" rules="all" border="1" id="ID_ucShowNew_gridView" style="border-width:1px;border-style:Solid;font-size:12px;width:100%;border-collapse:collapse;margin-bottom: 10px">
		<tbody><tr class="boxHeader" align="center" style="height:24px;">
			<th class="boxItem" align="center" scope="col">预/现售号</th><th class="boxItem" align="center" scope="col">项目名称</th><th class="boxItem" align="center" scope="col">行政区域</th><th class="boxItem" align="center" scope="col">项目地址</th><th class="boxItem" align="center" scope="col">房屋用途</th><th class="boxItem" align="center" scope="col">开发商</th><th class="boxItem" align="center" scope="col">预售面积(平方米)</th><th class="boxItem" align="center" scope="col">预售日期</th><th class="boxItem" align="center" scope="col">备注</th>
		</tr><tr>
			<td class="boxItem" align="left" style="width:55px;">101805</td><td class="boxItem" align="left" style="width:70px;">锦城悦庭</td><td class="boxItem" align="left" style="width:50px;">高新区</td><td class="boxItem" align="left">高新区康和西一街199号</td><td class="boxItem" align="left" style="width:50px;">住宅、公寓、商业</td><td class="boxItem" align="left" style="width:100px;">成都科普尔房地产开发有限公司</td><td class="boxItem" align="left">48366.77</td><td class="boxItem" align="left" style="width:75px;">
                                    <span id="ID_ucShowNew_gridView_ctl02_lbl1">2018-10-15</span>
                                </td><td class="boxItem" align="left" style="width:70px;">&nbsp;</td>
		</tr><tr>
			<td class="boxItem" align="left" style="width:55px;">101797</td><td class="boxItem" align="left" style="width:70px;">朗诗熙华府</td><td class="boxItem" align="left" style="width:50px;">高新区</td><td class="boxItem" align="left">成都市高新区盛治街777号</td><td class="boxItem" align="left" style="width:50px;">车位</td><td class="boxItem" align="left" style="width:100px;">寰安置业（成都）有限公司</td><td class="boxItem" align="left">39951.38</td><td class="boxItem" align="left" style="width:75px;">
                                    <span id="ID_ucShowNew_gridView_ctl03_lbl1">2018-10-12</span>
                                </td><td class="boxItem" align="left" style="width:70px;">&nbsp;</td>
		</tr><tr>
			<td class="boxItem" align="left" style="width:55px;">101787</td><td class="boxItem" align="left" style="width:70px;">龙湖时代天街广场</td><td class="boxItem" align="left" style="width:50px;">高新区</td><td class="boxItem" align="left">高新区合作路89号</td><td class="boxItem" align="left" style="width:50px;">商业、办公</td><td class="boxItem" align="left" style="width:100px;">成都龙湖锦鸿置业有限公司</td><td class="boxItem" align="left">42491.23</td><td class="boxItem" align="left" style="width:75px;">
                                    <span id="ID_ucShowNew_gridView_ctl04_lbl1">2018-10-11</span>
                                </td><td class="boxItem" align="left" style="width:70px;">&nbsp;</td>
		</tr><tr>
			<td class="boxItem" align="left" style="width:55px;">101778</td><td class="boxItem" align="left" style="width:70px;">宸光名邸</td><td class="boxItem" align="left" style="width:50px;">高新区</td><td class="boxItem" align="left">高新区雅和北三路350号</td><td class="boxItem" align="left" style="width:50px;">商业</td><td class="boxItem" align="left" style="width:100px;">成都万锦南府置业有限公司</td><td class="boxItem" align="left">8185.46</td><td class="boxItem" align="left" style="width:75px;">
                                    <span id="ID_ucShowNew_gridView_ctl05_lbl1">2018-10-10</span>
                                </td><td class="boxItem" align="left" style="width:70px;">&nbsp;</td>
		</tr><tr>
			<td class="boxItem" align="left" style="width:55px;">101755</td><td class="boxItem" align="left" style="width:70px;">宸光名邸</td><td class="boxItem" align="left" style="width:50px;">高新区</td><td class="boxItem" align="left">高新区雅和北三路350号</td>