python爬虫——获取携程城市缩写（存入数据库）

最新推荐文章于 2021-11-10 12:23:09 发布

有人_295

最新推荐文章于 2021-11-10 12:23:09 发布

阅读量1.6w

点赞数 3

分类专栏： python学习文章标签：爬虫

本文链接：https://blog.csdn.net/weixin_42109012/article/details/96378400

版权

python学习专栏收录该内容

13 篇文章

订阅专栏

爬虫能够帮我们收集到很多信息。
我想获取携程各个票的信息，虽然一个一个城市的输入也可以得到想要的信息，但是为了模块化的获取信息，我们应该对城市（city）信息建立一个字典，所以需要得到携程提供的城市名称缩写。

前提

编译IDA：pycharm 社区版
python版本：python3.7.4
用到的库：json(自带)、re(自带)、requests（导入）、pymysql（导入）

pip install requests
pip install pymysql

步骤

1、查看携程信息
发现这个不是放在 HTML 中，查看XHR，是 json 中，所以不是简单的获取界面，需要统一资源定位器（url）和请求头（headers）。
（1）提供的接口（api）:https://flights.ctrip.com/itinerary/api/poi/get
（2）需要找到请求头 headers
~~（3）参数里面没有东西，说明不需要请求载荷（payload）~~
在这里插入图片描述
2、获取 json 信息
可以发现已经获取 json 信息，即所有的数据

import requests
import json

# 固定提供的 api 接口
    url = "https://flights.ctrip.com/itinerary/api/poi/get"
    # 根据自己的请求头修改
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0",
        "Referer": "https://flights.ctrip.com/itinerary",
        "Content-Type": "application/json"
    }

    # get请求
    response = requests.get(url, headers=headers).text
    print(response)

在这里插入图片描述
3、提炼信息
但是我们只要城市名称、城市缩写
所以我们要一层一层的剥离，然后取出我们想要的信息
我们想要的信息就在 data->ABCDEF(其中一个)->A(其中一个)->0(其中一个)中
应为字母他不是有规律的，所以需要分开写，我还是编写的一个模块统一处理
“ABCDEF”、 “GHIJ” 、“KLMN”、“PQRSTUVW”、 “XYZ”（少了一个O，而且有的里面没有信息，需要判断一下）

def getData(Data, letters):
    # 求长度，等下会用到的下标
    length = len(letters)
    # 得到各字母串的 json 信息
    letter = Data.get(letters)
    # 挨个字母城市信息
    for i in range(0, length):
        # 字母 I 中没有东西，所以需要判断一下去掉
        if letter.get(letters[i]) is not None:
            # 每个城市信息
            character = letter.get(letters[i])
            for info in character:
                # 取自己想要的信息
                CN = info.get('display')
                # 取 左移三位到结尾的信息（即城市缩写）
                cityData = info.get('data')
                # 取编号
                EN = cityData[-3:]
                num = re.findall(r"\d+", cityData)
                # 不换行输出 格式为：（'阿勒泰': 'AAT' ）
                # print("'"+CN+"'"+":"+" '"+EN+"'"+", ", end="")
                print(CN, EN, num[0])
                # print(num)
                # 增加至数据库
                # sql = "insert into city(CN, EN, num) values('%s','%s',%d)" % (CN, EN, int(num[0]))
                # mysql(sql)
    print("")

主函数中

	# get请求
    response = requests.get(url, headers=headers).text
    # 以下都是 json 请求
    # print(response)
    data = json.loads(response).get('data')
    # print(data)
    getData(data, "ABCDEF")
    getData(data, "GHIJ")
    getData(data, "KLMN")
    # 少了一个字母O
    getData(data, "PQRSTUVW")
    getData(data, "XYZ")

在这里插入图片描述
4、存入数据库
其实到这里就差不多结束了，不一定要存入数据库，最后还是决定写一写吧。
也很简单，就是数据库操作，只要会数据库应该没问题
封装数据库函数，在获取信息处把信息存入数据库（即getData中）

import pymysql

def mysql(sql):
    # IP， 端口， 用户名，密码，一个数据库
    db = pymysql.connect(
        host="localhost",
        port=3308,
        user="root",
        password="123456",
        database="携程"
    )
    cur = db.cursor()
    try:
        # 执行sql语句
        cur.execute(sql)
        db.commit()

    except Exception as e:
        raise e

    finally:
        db.close()

添加语句

	# 增加至数据库
  	sql = "insert into city(CN, EN, num) values('%s','%s',%d)" % (CN, EN, int(num[0]))
  	mysql(sql)

在这里插入图片描述

整体代码

import requests
import json
import pymysql
import re


def mysql(sql):
    # IP， 端口， 用户名，密码，一个数据库
    db = pymysql.connect(
        host="localhost",
        port=3308,
        user="root",
        password="123456",
        database="携程"
    )
    cur = db.cursor()
    try:
        # 执行sql语句
        cur.execute(sql)
        db.commit()
    except Exception as e:
        raise e
    finally:
        db.close()


def getData(Data, letters):
    # 求长度，等下会用到的下标
    length = len(letters)
    # 得到各字母串的 json 信息
    letter = Data.get(letters)
    # 挨个字母城市信息
    for i in range(0, length):
        # 字母 I 中没有东西，所以需要判断一下去掉
        if letter.get(letters[i]) is not None:
            # 每个城市信息
            character = letter.get(letters[i])
            for info in character:
                # 取自己想要的信息
                CN = info.get('display')
                cityData = info.get('data'）
                # 取左移三位到结尾的信息（即城市缩写）
                EN = cityData[-3:]
                # 取编号
                num = re.findall(r"\d+", cityData)
                # 不换行输出 格式为：（'阿勒泰': 'AAT' ）
                print("'"+CN+"'"+":"+" '"+EN+"'"+", ", end="")
                # print(CN, EN, num[0])
                # 增加至数据库
                # sql = "insert into city(CN, EN, num) values('%s','%s',%d)" % (CN, EN, int(num[0]))
                # mysql(sql)
    print("")


if __name__ == "__main__":
    # 固定提供的 api 接口
    url = "https://flights.ctrip.com/itinerary/api/poi/get"
    # 根据自己的请求头修改
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0",
        "Referer": "https://flights.ctrip.com",
        "Content-Type": "application/json"
    }

    # get请求
    response = requests.get(url, headers=headers).text
    # 以下都是 json 请求
    # print(response)
    data = json.loads(response).get('data')
    # print(data)
    getData(data, "ABCDEF")
    getData(data, "GHIJ")
    getData(data, "KLMN")
    # 少了一个字母O
    getData(data, "PQRSTUVW")
    getData(data, "XYZ")

总结

1、主要是找到接口、找到请求头、判断请求载荷
2、对信息一层层的剥离、获取
3、其中有一点错误，就是荆门因为名字中有数字，导致他的num编号正则表达式提取为1，需要手动修改下为1121

为什么格式是这样的，当然是当字典用啊，直接复制就行了

city = {
    '阿勒泰': 'AAT', '阿克苏': 'AKU', '鞍山': 'AOG', '安庆': 'AQG', '安顺': 'AVA', '阿拉善左旗': 'AXF', '澳门': 'MFM', '阿里': 'NGQ',
    '阿拉善右旗': 'RHT', '阿尔山': 'YIE', '巴中': 'BZX', '百色': 'AEB', '包头': 'BAV', '毕节': 'BFJ', '北海': 'BHY', '北京': 'BJS',
    '北京(南苑机场)': 'NAY', '北京(首都国际机场)': 'PEK', '博乐': 'BPL', '保山': 'BSD', '白城': 'DBC', '布尔津': 'KJI', '白山': 'NBS',
    '巴彦淖尔': 'RLK', '昌都': 'BPX', '承德': 'CDE', '常德': 'CGD', '长春': 'CGQ', '朝阳': 'CHG', '赤峰': 'CIF', '长治': 'CIH',
    '重庆': 'CKG', '长沙': 'CSX', '成都': 'CTU', '沧源': 'CWJ', '常州': 'CZX', '池州': 'JUH', '潮州': 'SWA', '潮汕': 'SWA',
    '大同': 'DAT', '达县': 'DAX', '达州': 'DAX', '稻城': 'DCY', '丹东': 'DDG', '迪庆': 'DIG', '大连': 'DLC', '大理': 'DLU',
    '敦煌': 'DNH', '东营': 'DOY', '大庆': 'DQA', '德令哈': 'HXD', '德宏': 'LUM', '鄂尔多斯': 'DSN', '额济纳旗': 'EJN', '恩施': 'ENH',
    '二连浩特': 'ERL', '福州': 'FOC', '阜阳': 'FUG', '抚远': 'FYJ', '富蕴': 'FYN',
    '广州': 'CAN', '果洛': 'GMQ', '格尔木': 'GOQ', '广元': 'GYS', '固原': 'GYU', '高雄': 'KHH', '赣州': 'KOW', '贵阳': 'KWE',
    '桂林': 'KWL', '红原': 'AHJ', '海口': 'HAK', '河池': 'HCJ', '邯郸': 'HDG', '黑河': 'HEK', '呼和浩特': 'HET', '合肥': 'HFE',
    '杭州': 'HGH', '淮安': 'HIA', '怀化': 'HJJ', '海拉尔': 'HLD', '哈密': 'HMI', '衡阳': 'HNY', '哈尔滨': 'HRB', '和田': 'HTN',
    '花土沟': 'HTT', '花莲': 'HUN', '霍林郭勒': 'HUO', '惠阳': 'HUZ', '惠州': 'HUZ', '汉中': 'HZG', '黄山': 'TXN', '呼伦贝尔': 'XRQ',
    '嘉义': 'CYI', '景德镇': 'JDZ', '加格达奇': 'JGD', '嘉峪关': 'JGN', '井冈山': 'JGS', '景洪': 'JHG', '金昌': 'JIC', '九江': 'JIU',
    '晋江': 'JJN', '荆门': 'JM1', '佳木斯': 'JMU', '济宁': 'JNG', '锦州': 'JNZ', '建三江': 'JSJ', '鸡西': 'JXA', '九寨沟': 'JZH',
    '金门': 'KNH', '揭阳': 'SWA', '济南': 'TNA',
    '库车': 'KCA', '康定': 'KGT', '喀什': 'KHG', '凯里': 'KJH', '昆明': 'KMG', '库尔勒': 'KRL', '克拉玛依': 'KRY', '黎平': 'HZH',
    '澜沧': 'JMJ', '连城': 'LCX', '龙岩': 'LCX', '临汾': 'LFQ', '兰州': 'LHW', '丽江': 'LJG', '荔波': 'LLB', '吕梁': 'LLV',
    '临沧': 'LNJ', '陇南': 'LNL', '六盘水': 'LPF', '拉萨': 'LXA', '洛阳': 'LYA', '连云港': 'LYG', '临沂': 'LYI', '柳州': 'LZH',
    '泸州': 'LZO', '林芝': 'LZY', '芒市': 'LUM', '牡丹江': 'MDG', '马祖': 'MFK', '绵阳': 'MIG', '梅县': 'MXZ', '梅州': 'MXZ',
    '马公': 'MZG', '满洲里': 'NZH', '漠河': 'OHE', '南昌': 'KHN', '南竿': 'LZN', '南充': 'NAO', '宁波': 'NGB', '南京': 'NKG',
    '宁蒗': 'NLH', '南宁': 'NNG', '南阳': 'NNY', '南通': 'NTG',
    '澎湖列岛': 'MZG', '攀枝花': 'PZI', '普洱': 'SYM', '琼海': 'BAR', '秦皇岛': 'BPE', '祁连': 'HBQ', '且末': 'IQM', '庆阳': 'IQN',
    '黔江': 'JIQ', '泉州': 'JJN', '衢州': 'JUZ', '齐齐哈尔': 'NDG', '青岛': 'TAO', '日照': 'RIZ', '日喀则': 'RKZ', '若羌': 'RQA',
    '神农架': 'HPG', '石狮': 'JJN', '莎车': 'QSZ', '上海': 'SHA', '上海(浦东国际机场)': 'PVG', '上海(虹桥国际机场)': 'SHA', '沈阳': 'SHE',
    '石河子': 'SHF', '石家庄': 'SJW', '上饶': 'SQD', '三明': 'SQJ', '汕头': 'SWA', '三亚': 'SYX', '深圳': 'SZX', '十堰': 'WDS',
    '邵阳': 'WGN', '松原': 'YSQ', '台州': 'HYN', '台中': 'RMQ', '塔城': 'TCG', '腾冲': 'TCZ', '铜仁': 'TEN', '通辽': 'TGO',
    '天水': 'THQ', '吐鲁番': 'TLQ', '通化': 'TNH', '台南': 'TNN', '台北': 'TPE', '天津': 'TSN', '台东': 'TTT', '唐山': 'TVS',
    '太原': 'TYN', '泰州': 'YTY', '五大连池': 'DTU', '乌兰浩特': 'HLH', '乌兰察布': 'UCB', '乌鲁木齐': 'URC', '潍坊': 'WEF', '威海': 'WEH',
    '文山': 'WNH', '温州': 'WNZ', '乌海': 'WUA', '武汉': 'WUH', '武夷山': 'WUS', '无锡': 'WUX', '梧州': 'WUZ', '万州': 'WXN',
    '乌拉特中旗': 'WZQ',
    '兴义': 'ACX', '香格里拉': 'DIG', '夏河': 'GXH', '香港': 'HKG', '西双版纳': 'JHG', '新源': 'NLT', '西安': 'SIA', '咸阳': 'SIA',
    '忻州': 'WUT', '信阳': 'XAI', '襄阳': 'XFN', '西昌': 'XIC', '锡林浩特': 'XIL', '厦门': 'XMN', '西宁': 'XNN', '徐州': 'XUZ',
    '延安': 'ENY', '银川': 'INC', '伊春': 'LDS', '永州': 'LLF', '榆林': 'UYN', '宜宾': 'YBP', '运城': 'YCU', '宜春': 'YIC',
    '宜昌': 'YIH', '伊犁': 'YIN', '伊宁': 'YIN', '义乌': 'YIW', '营口': 'YKH', '延吉': 'YNJ', '烟台': 'YNT', '盐城': 'YNZ',
    '扬州': 'YTY', '玉树': 'YUS', '岳阳': 'YYA', '郑州': 'CGO', '张家界': 'DYG', '芷江': 'HJJ', '舟山': 'HSN', '扎兰屯': 'NZL',
    '张掖': 'YZY', '昭通': 'ZAT', '湛江': 'ZHA', '中卫': 'ZHY', '张家口': 'ZQZ', '珠海': 'ZUH', '遵义': 'ZYI',
}