import re
import csv
import threading
import requests
def getHtml(url):
r = requests.get(url,headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
})
r.encoding = r.apparent_encoding # 获取response中charset的值
return r.text
def getFundsInfo(baseUrl):
html = getHtml(baseUrl)
reslist = re.findall("<tbody[\s\S]*</tbody>", html)
tbody = reslist[0]
reslist = re.findall('>(\S+?)</', tbody) # 只需要()中的元素
for i in range(0, len(reslist), 8):
rowList = []
for j in range(8):
rowList.append(reslist[i + j])
writer.writerow(rowList)
if __name__ == '__main__':
f = open('StockFunds.csv', 'w', encoding='utf-8', newline="")
writer = csv.writer(f)
writer.writerow(('基金代码', '基金名称', '单位净值', '累计净值', '日增长额', '日增长率', '申购', '赎回'))
for page in range(1, 3):
baseUrl = 'http://quote.stockstar.com/fund/stock_3_1_{}.html'.format(page)
threading.Thread(target=getFundsInfo, args=(baseUrl,)).start()
Q&A _Uncompleted
- 正则的利用和网站的结构
因为是html代码所以存在换行符,
. 表示任何不包括换行符的字符,
所以用[\S\s],\s匹配\t\n\r\f\v中的一个
\s 匹配任意空白字符,等价于 [\t\n\r\f].
\S 匹配任意非空字符
+ 匹配1个或多个的表达式。
? 匹配0个或1个由前面的正则表达式定义的片段,非贪婪方式
* 匹配0个或多个表达式
- reslist = re.findall("<tbody[\s\S]*", html)中为啥reslist只有一个值
通过看网页有两个tbody,可是看源代码只有一个tbody
- reslist = re.findall(’>(\S+?)</’, tbody) 中pattern的意思
- 只需要()中匹配到的数据
- \S+? 因为有?属于贪婪匹配,\S不匹配空白符,所以就提取到
['159901', '深100ETF', '4.9035', '4.7697', '--', '--', '开放', '开放']
这样的数据
- 利用Jupyter notebook运行线程发现无法运行
可能是因为jupyter notebook在自己的子线程中运行了代码段,无法创建其他的子线程
- 如何获取baseUrl
测试:
# 使用 u''即刻得到答案
'\u6211\u7231\u4f60\u4e00\u751f\u4e00\u4e16'.encode('utf-8').decode()
#'我爱你一生一世'
str1='{"KEYS":"\u6211\u7231\u4f60\u4e00\u751f\u4e00\u4e16"}'
json.loads(str1)
# {'KEYS': '我爱你一生一世'}