爬虫-中国银行卡-优惠商户活动数据（2018-11-15）

爬虫地址

http://www.boc.cn/sdbapp/rwmerchant/sra32/

设计技术

1. requests请求页面
2. re正则表达式
3. xpath语法解析html对象

爬虫思路

0. 爬虫开始
1. 先找到大类，大类比如：

2. 每一个大类找到分页的链接
3. 解析每一个分页的链接里面的商店的链接
4. 对每一个商店的链接进行抓取和解析
5. 爬虫结束

爬虫代码

#-*-coding:utf-8-*-
import json
import os
import re
import time

import lxml
import requests
import xlrd
import xlwt
from lxml import etree
from xlutils.copy import copy


def get_page(url):
    try:
        response= requests.get(url)
        if response.status_code==200:
            return response
    except:
        return None


def parse_detail_page(detail_html):
    company_name=''.join(detail_html.xpath('//td[@colspan="3"]/text()'))
    try:
        company_address = detail_html.xpath('//td[@colspan="5"]/text()')[0]
    except:
        company_address=''
    try:
        company_phone = detail_html.xpath('//td[@colspan="5"]/text()')[1]
    except: