2021月10月21号获取上证e互动问答评论-8万条

1.进入上证e互动网站，网址http://sns.sseinfo.com/qa.do

2.不需要账号，直接可以进入网站，按F12寻找element

3.关键点：发现需要多次滑动页面才能显示出完整的Element,采用下面程序下滑页面多此，直到获得完整Element

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(2)

4.需要获取：
‘数据来源’,‘股票代码’,‘公司简称’,‘浏览用户’,‘用户名’,‘提问时间’,‘提问内容’,‘上市公司是否回复’,‘回复时间’,‘回复内容’, ‘字数’,‘词数’
写入csv格式的表中，表头如下程序，注意newline=""是为了生成表中防止空一行

with open("证交所评论.csv", "w", newline="", encoding="utf-8-sig") as datacsv:
        csvwriter = csv.writer(datacsv, dialect=("excel"))
        csvwriter.writerow(['数据来源','股票代码','公司简称','浏览用户','用户名','提问时间','提问内容','上市公司是否回复','回复时间','回复内容',
                            '字数','词数'])

5.如何数中文数字个数，如下程序

l=0
for n in j:
    if '\u4e00'<=n <='\u9fff':
        l+=1
print(l)

6.完整代码展示

from selenium import webdriver
import time
import csv
import re

def spider(url):
    with open("证交所评论.csv", "w", newline="", encoding="utf-8-sig") as datacsv:
        csvwriter = csv.writer(datacsv, dialect=("excel"))
        csvwriter.writerow(['数据来源','股票代码','公司简称','浏览用户','用户名','提问时间','提问内容','上市公司是否回复','回复时间','回复内容',
                            '字数','词数'])
        driver = webdriver.Chrome()
        # 输入京东地址
        driver.get(url)
        driver.maximize_window()  # 窗口最大化
        for x in range(2000):
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(2)
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(2)
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(2)
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(2)

            goods = driver.find_elements_by_xpath('//*[@id="feedall"]/div')
            print(len(goods))
            for i in range(1,len(goods)+1):
                try:
                    k = []
                    a1="证交所"
                    k.append(a1)
                    a=driver.find_element_by_xpath(f'//*[@id="feedall"]/div[{i}]/div[2]/div[2]/div[2]/a').text
                    a2=re.findall(".*\((.*?)\)",a)[0]
                    k.append(a2)
                    print(a)
                    b=driver.find_element_by_xpath(f'//*[@id="feedall"]/div[{i}]/div[2]/div[2]/div[2]/a').text
                    b1 = re.findall(":(.*?)\(.*", b)[0]
                    k.append(b1)
                    c="注册用户"
                    k.append(c)
                    d=driver.find_element_by_xpath(f'//*[@id="feedall"]/div[{i}]/div[2]/div[1]/p').text
                    k.append(d)
                    e=driver.find_element_by_xpath(f'//*[@id="feedall"]/div[{i}]/div[2]/div[2]/div[4]/div/span').text
                    k.append(e)
                    f=driver.find_element_by_xpath(f'//*[@id="feedall"]/div[{i}]/div[2]/div[2]/div[2]').text
                    f1=re.findall(".*\(.*\)(.*)",f)[0]
                    print(f1)
                    k.append(f1)
                    g="已回复"
                    k.append(g)
                    h=driver.find_element_by_xpath(f'//*[@id="feedall"]/div[{i}]/div[3]/div[4]/div[3]/span').text
                    k.append(h)
                    j=driver.find_element_by_xpath(f'//*[@id="feedall"]/div[{i}]/div[3]/div[3]/div[2]').text
                    k.append(j)
                    l=0
                    for n in j:
                        if '\u4e00'<=n <='\u9fff':
                            l+=1
                    k.append(l)
                    m=l+2
                    k.append(m)
                    csvwriter.writerow(k)
                except:
                    continue

            driver.find_element_by_xpath('//*[@id="pagination"]/a').click()
            print('下一页')
            time.sleep(2)
        driver.quit()


if __name__ == '__main__':
    spider('http://sns.sseinfo.com/qa.do')

7.运行后生成的表格