利用公开网站的数据收集七星彩历史数据,并excel记录历史数据
一、导入模块
import requests #爬虫库
import xlwt #写excel表库
import time #时间获取转换
from bs4 import BeautifulSoup #爬虫库
二、获取网页
# 获取网页内容
def get_html(url):
#这是一个UA伪装,告诉网站你浏览器和操作系统系统
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
response = requests.get(url, headers = headers)#用爬虫对象获取网页内容
if response.status_code == 200:#对象状态码等于200说明获取网页内容成功
print('读取网页成功!')
return response.text#返回获取的网页内容
else:
print('读网页失败,无数据!')
return None
三、解析网页
# 解析网页内容
def pars