Q_爬取证券之星网站

import re
import csv
import threading

import requests

def getHtml(url):
    r = requests.get(url,headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
    })
    r.encoding = r.apparent_encoding  # 获取response中charset的值
    return r.text


def getFundsInfo(baseUrl):
    html = getHtml(baseUrl)
    reslist = re.findall("<tbody[\s\S]*</tbody>", html)
    tbody = reslist[0]
    reslist = re.findall('>(\S+?)</', tbody)  # 只需要（）中的元素
    for i in range(0, len(reslist), 8):
        rowList = []
        for j in range(8):
            rowList.append(reslist[i + j])
        writer.writerow(rowList)


if __name__ == '__main__':
    f = open('StockFunds.csv', 'w', encoding='utf-8', newline="")
    writer = csv.writer(f)
    writer.writerow(('基金代码', '基金名称', '单位净值', '累计净值', '日增长额', '日增长率', '申购', '赎回'))
    for page in range(1, 3):
        baseUrl = 'http://quote.stockstar.com/fund/stock_3_1_{}.html'.format(page)
        threading.Thread(target=getFundsInfo, args=(baseUrl,)).start()

Q&A _Uncompleted

• 正则的利用和网站的结构

因为是html代码所以存在换行符，
. 表示任何不包括换行符的字符，
所以用[\S\s]，\s匹配\t\n\r\f\v中的一个

\s 匹配任意空白字符，等价于 [\t\n\r\f].
\S 匹配任意非空字符
+ 匹配1个或多个的表达式。
? 匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
* 匹配0个或多个表达式

• reslist = re.findall("<tbody[\s\S]*", html)中为啥reslist只有一个值

通过看网页有两个tbody,可是看源代码只有一个tbody

• reslist = re.findall(’>(\S+?)</’, tbody) 中pattern的意思

1. 只需要()中匹配到的数据
2. \S+? 因为有?属于贪婪匹配,\S不匹配空白符,所以就提取到['159901', '深100ETF', '4.9035', '4.7697', '--', '--', '开放', '开放']这样的数据

• 利用Jupyter notebook运行线程发现无法运行

可能是因为jupyter notebook在自己的子线程中运行了代码段，无法创建其他的子线程

• 如何获取baseUrl

测试:

# 使用 u''即刻得到答案
'\u6211\u7231\u4f60\u4e00\u751f\u4e00\u4e16'.encode('utf-8').decode()
#'我爱你一生一世'

str1='{"KEYS":"\u6211\u7231\u4f60\u4e00\u751f\u4e00\u4e16"}'
json.loads(str1)
# {'KEYS': '我爱你一生一世'}