selenium爬虫实例1——华大基因集团动态

一.网页构成及分析——集团动态 (genomics.cn)

网页构成较为简单，一次显示6条动态，包括标题，简介，时间，每次点击“更多”会多出新的6条；思路就很简单，点击“更多”，直到所有动态出现，再获取网页源代码，利用xpath获取节点信息，再进行相应的数据清洗分析。

最后制作了每一年的词云图。

二.代码及注释

1.导包

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
from openpyxl import Workbook#直接生成xlsx文件，xls文件较为笨重，大小是xlsx文件的一倍
import pandas as pd
import jieba#对文本进行分词的软件包
import wordcloud#词云图包
import numpy as np

2.获取集团动态的标题、简介、日期，并整理为excel文件（*.xlsx）

web = webdriver.Edge()#对象化一个webdriver来调用浏览器
web.get('https://www.genomics.cn/n