php 仿安居客源码_python抓取安居客小区数据的程序代码

抓取数据不管用什么编程语言几乎都是可以实现了，今天我们需要采集安居客的小区数据，下面我们来看一个python抓取安居客小区数据的程序代码了，希望下文能够对大家有帮助。

某功能需要一套城市所有小区的位置信息数据，一开始是使用的百度地图api来进行关键词搜索，勉强能用，但数据量非常少，还是有大量的社区/小区搜不到。

周末在家上网时发现安居客上直接就有每个城市的小区大全，欣喜若狂，于是就立即写了个爬虫试试。

以下贴代码，python2.7，lxml+request库。#coding=utf-8

#author : zx

#date : 2015/07/27

import requests

import MySQLdb

import time

import string

import random

from lxml import etree

#ua头信息 get时可以随机使用

headers = [

{ "User-Agent":"Mozilla/5.0 (Linux; U; Android 4.1; en-us; GT-N7100 Build/JRO03C) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30"},

{ "User-Agent":"Mozilla/5.0 (compatible; MSIE 10.0; Windows Phone 8.0; Trident/6.0; IEMobile/10.0; ARM; Touch; NOKIA; Lumia 520)"},

{ "U