工具:
pycharm 2018.3.5
Anaconda3-2018.12 + Python 3.7.1
前期准备:
目标网站页面——携程>酒店>上海酒店
找到页面URL
1、此次使用到的全部库
import requests
import json
import re
import csv
import demjson
import pymysql
import time
2、MySQL数据库的连接
conn = pymysql.Connect(host='localhost', port=3306, user=' ', passwd=' ', db='jiudian')
curor = conn.cursor()
3、网站页面的获取
headers={
"Connection": "keep-alive",
"origin":"http://hotels.ctrip.com",
"Host": "hotels.ctrip.com",
"referer": "#需要获取的页面网址",
"user-agent":"通过f12查找",
}
4、具体源的获取