python爬取人口数据_Python爬虫：基于Scrapy的爬取失踪人口数据小爬虫

Scrapy简介：

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

仓库地址：

说明：

1、数据来源：宝贝回家网

2、数据后处理中加入了经纬度坐标，方便在空间上定位，原始数据是没有这个信息的

技术点：

scrapy爬虫框架

mysql连接池技术

数据清洗(正则表达式)

百度API地理编码

Spider的工作流程，就不具体说了，他是一个很强大的爬虫框架。

运行结果：

爬虫主要代码：

# -*- coding: utf-8 -*-

#更改搜索路径，但没有用哦

import random

import sys

import os

from PersonItem import PersonItem

curPath = os.path.abspath(os.path.dirname(__file__))

rootPath = os.path.split(curPath)[0]

sys.path.append(rootPath)

import scrapy

import json

import re

from urllib.request import urlopen, quote

import datetime

import time

#E:\Desktop\python\zhiyuan_test\zhiyuan_test

#

# PATH = os.environ

# for key in PATH:

# print(key, PATH[key])

#print(rootPath)

#百度坐标地理编码

def getBlnglat(address):

url = 'http://api.map.baidu.com/geocoder/v2/'

output = 'json'

ak = 'O8fpFPd6pw5VYK1uGsdMSAtL5MQRjAjs'

add = quote(address) #为防止乱码，先用quote进行编码

uri = url + '?' + 'address=' + add + '&output=' + output + '&ak=' + ak

req = urlopen(uri)

res = req.read().decode()

temp = json.loads(res)

# print(temp.keys())

# print(temp.values())

# print(type(temp['result']))

if temp['status'] == 0:

lng = temp['result']['location']['lng'] # 纬度

lat = (temp['result']['location&