python中美元人汇率_Python爬虫练习：爬取美元历史汇率

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

以上文章来源于小鹏友的数据分析之路，作者 小鹏友

网址：https://chl.cn/?lishi

界面：

可以看出，网站上有2006至今的历史汇率数据。点击进“2020-9-30”入下个界面：

进入新的网页后，可以看到本人需要的爬取的数据：人民币兑美元汇率(其它汇率留给大家自主爬取)。

对比两个时间(2020-9-30和2020-9-29)的网页url，发现只有id不同，而且只差1，说明可以根据id号递增来循环爬取不同日期的汇率。

https://chl.cn/?id=7511 #2020-9-29https://chl.cn/?id=7512 #2020-9-30

接下来，解析人民币兑美元汇率(中间价)的源码：

第一，在chrome打开该网址，选择一个日期点击进入，然后按F12，鼠标点击右上角的箭头，再把箭头移动到需要爬取的汇率上，观察右边的源码，鼠标再次移动到对应的源码上，右键->edit as HTML，就可以看到具体的源码了。

第二，可以用re库，正则匹配出需要的内容：

https://chl.cn/?id=7511 #2020-9-29

https://chl.cn/?id=7512 #2020-9-30

上述代码匹配到的内容如下(以2020-9-30为例)。可以看出，美元汇率存放在list[0]中(其它部分汇率也可以匹配得到)。

用以下代码可以进一步匹配到2020-9-30的美元汇率6.8101

最后，就是实实在在地敲代码去爬了。如果爬取2016年至今每天的汇率数据，时间会有点久，所以本文就只爬取了2019年5月6日(即id=5001)至今的汇率数据，效果如下：

全部代码：

importpandas as pdimportnumpy as npimportrequestsimportreimporttimeimportdatetimedefCHNtime2strtime(CHNtime):'''功能：中文时间转字符串时间

传入：一个中文时间，如“2020年9月30号”

返回：字符串时间，如“2020-9-30”'''CHNtime_list= re.findall(r'[\u4e00-\u9fa5]+',CHNtime)for i inCHNtime_list:if i != '日':

CHNtime= CHNtime.replace(str(i),'-')else:

CHNtime= CHNtime.replace(str(i),'')returnCHNtimedefdiff_days(str_time):'''功能：计算过去某天时间与今天的天数差，比如“2020-9-29”距离今天(2020-9-30)相差1天

传入：一字符串时间，如“2020-9-30”

返回：天数差(数值型)'''date_time= datetime.datetime.strptime(str_time,'%Y-%m-%d')

now_time=datetime.datetime.now()

diff_time= now_time -date_time

days=diff_time.daysreturndays

t= [] #时间

dollar = [] #美元

i= 5000 #本文从id=5001(即2019-5-6)开始爬取

while True: #设置死循环

i+= 1 #循环一次，id+1

#请求头

headers ={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; \

Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}#网址

url = 'https://chl.cn/?id={}'.format(str(i))#请求响应

r = requests.get(url,headers=headers)

r.encoding= "utf-8"s=r.texttry: #设置抛出异常，因为有些id，如id=7001，网页就不存在

rate_list= re.findall(r'

(.*?)/人民币(.*?)',s)

tt= re.findall(r'

(.*?)汇率

',s)[0] #日期

strtime = CHNtime2strtime(tt) #中文时间转字符串时间

t.append(datetime.datetime.strptime(strtime,'%Y-%m-%d'))

dollar.append(rate_list[0][1]) #美元

days= diff_days(strtime) #计算天数差

print(tt,'爬取成功！')print('当天距离现在相差：',days,'天')if days == 0: #死循环终止条件：天数差为0时，即代表爬取到今天

break

except:#如果爬取的url不存在，那么时间与汇率就用控制代替

t.append(np.nan)

dollar.append(np.nan)print('id =',i,' ',np.nan)

time.sleep(0.2) #为了防止爬取的速度过快，设置睡眠时间为0.2s

df= pd.DataFrame() #生产一个DataFrame用来存放数据

df['time'] =t

df['人民币兑美元汇率'] =dollar

df.dropna(inplace=True) #将缺失值删去

df.to_excel('历史人民币兑美元汇率.xlsx',index=False) #在目前文件夹上生成excel文件

print('历史人民币兑美元汇率.xlsx 文件生成成功！')