python 安居客爬虫_python抓取安居客小区数据

最新推荐文章于 2023-12-15 13:42:41 发布

weixin_39768695

最新推荐文章于 2023-12-15 13:42:41 发布

阅读量658

点赞数

文章标签： python 安居客爬虫

本文链接：https://blog.csdn.net/weixin_39768695/article/details/111779923

版权

该博客介绍了如何使用Python编写爬虫，从安居客网站上抓取青岛地区的小区数据。通过requests库获取网页内容，lxml进行解析，并利用XPath定位关键信息。数据包括小区名称、经纬度、地址等，最后将抓取到的数据存储到MySQL数据库中。

摘要由CSDN通过智能技术生成

#coding=utf-8

#author : zx

#date : 2015/07/27

import requests

import MySQLdb

import time

import string

import random

from lxml import etree

#ua头信息 get时可以随机使用

headers = [

{ "User-Agent":"Mozilla/5.0 (Linux; U; Android 4.1; en-us; GT-N7100 Build/JRO03C) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30"},

{ "User-Agent":"Mozilla/5.0 (compatible; MSIE 10.0; Windows Phone 8.0; Trident/6.0; IEMobile/10.0; ARM; Touch; NOKIA; Lumia 520)"},

{ "User-Agent":"Mozilla/5.0 (BB10; Touch) AppleWebKit/537.10+ (KHTML, like Gecko) Version/10.0.9.2372 Mobile Safari/537.10+"},

{ "User-Agent":"Mozilla/5.0 (Linux; Android 4.4.2; GT-I9505 Build/JDQ39) AppleWebKit/537.36 (KHTML, like Gecko) Version/1.5 Chrome/28.0.1500.94 Mobile Safari/537.36"}