标题:利用python爬取工商银行黄金价格存取数据并进行可视化
第一篇博客,容我做一段自我介绍QAQ
大家好,我叫小k,一名正在努力的大一大数据专业本科生,喜欢音乐,篮球,在编程方面属实算个小白,刚接触不到一年,最大体验是困难却又有趣。
褪去刚进大学的那种好奇与慵懒,渐渐变得清醒自律,算是明白了自己想要的是什么,希望看到这篇文章的你和我一样,奔跑着向自己的目标前进。
一级目录:利用python爬取数据
import datetime
import time
import re
import xlwt
import urllib.request
def daterange(beginDate, endDate): #存储时间范围为下逐个访问url
dates = []
dt = datetime.datetime.strptime(beginDate, "%Y%m%d")
date = beginDate[:]
while date <= endDate:
dates.append(date)
dt = dt + datetime.timedelta(1)
date = dt.strftime("%Y%m%d")
return dates
date_list = daterange("20200407", "20210330")
def main1(url): #逐个访问网址并返回爬取的数据
try:
headers = {
"User-Agent": "Mozilla/5.0(windows NT 10.0;win64;x64)Applewebkit/\
537.36(KHTML,like Gecko) Chrome/54.0.2840.99 Safari/537.36"
}
req = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(req).read().decode("utf-8") # utf-8对网页解码
findlink = re.compile(r"<span id='MyFreeTemplateUserControl'><p> (.*?),.*?。(.*?)。.*?</p>")
link = re.findall(findlink, response)
a = link[0];