数据采集处理

一个朋友的需求，从某富网上采集所需数据，整理成所需格式，如下图：1、网页中所需数据
2、采集并整理之后的数据格式

以下可供参考

# 导入一堆所需库
import requests
from selenium import webdriver
import re
import time
import random
from bs4 import BeautifulSoup
import pandas as pd
from lxml import etree
# 采集目标栏目里的每一篇文章
driver = webdriver.Chrome()
url = "**********************"
driver.get(url)

t=True
while t:
    target_locate=driver.find_element_by_class_name('load_more')
    if target_locate.find_element_by_tag_name('span').text != '点击加载更多':
        t=False
    target_locate.find_element_by_tag_name('span').click()
    driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
    time.sleep(random.randint(5,10))
page = driver.page_source
soup=BeautifulSoup(page,'lxml')
a=soup.find_all(name='div',class_='title') # 获取所有文章类别为标题的节点，含链接尾缀
b=[i.a.attrs['href'] for i in a] # 获取所有文章链接尾缀
news_list=list(set(b)) # 链接尾缀有重复，用集合去重，再转为列表
# 访问每一篇文章，并将数据处理成所需格式
def f(x):  # 数据处理过程中出现个格式不统一的情况，先封装一个函数
    if x.index('%')!=len(x)-1:
        x=x[2:].replace('收盘','').replace('偏离','').replace('元','').split('，')
        x[-1],x[-2]=x[-2],x[-1]
    else:
        x=x[2:].replace('收盘','').replace('偏离','').replace('元','').split('，')
    return x
# 先用BS4解析处理
data=pd.DataFrame()
root_url='************************'

for new_list in news_list: 
    full_url=root_url+new_list # 拼接每一篇文章的链接
    url=full_url
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'}
    response = requests.get(url,headers=headers)
    print('访问第{}篇文章:'.format(news_list.index(new_list)),url)
    html=response.text # 获取响应头文本
    html=BeautifulSoup(html,'lxml') # 解析网页
    date=html.find(name='div',class_='article-meta').span.text # 获取文章的日期，类型为str
    items=html.find_all('p') # 获取正文的每一段，均为p节点分割开
    # 需用到time.sleep,避免被封
    time.sleep(random.randint(10,30))
    # 取所需内容，形成列表
    L=[]  # 考虑不是每一篇文章都有所需的内容，极有可能最后还是空列表。后续需用if语句判断Dataframe转化处理
    for i in items: # 循环每一篇文章的每一段，下面判断是否有需要的内容，没有最后会返回空列表
        if re.search('转债排名',i.text) != None  or re.search('转债轮动策略',i.text) !=None or re.search('转债轮动收益',i.text) !=None:
            for j in items[items.index(i)+1:]:
#                 if re.search('收盘价',j.text) != None: # 万一所需要的内容，会误筛掉
#                     continue
                if (re.search('，收盘',j.text) != None or re.search('，偏离',j.text) != None) and re.search('%',j.text) != None:
                    L.append(j.text) # 将所需的每一条内容追加到list中
#                 else:
#                     break
            break
            
    if L == []: # 有些文章可能没有所需内容，最后还是会为空列表
        continue
    else:
        # 若L中有数据，则处理成二维列表的形式，待后续转换为dataframe
        k=[[date]+f(i.strip()) for i in L] 
        k=[i for i in k if len(i)==4]

    df=pd.DataFrame(k,columns=['日期','名称','收盘','偏离']) # 得到每一篇文章所需内容，再转换为表格
    data=pd.concat([data,df]) # 将每一篇文章形成的表格拼起来，相当于数据汇总到一张表上
# 再用etree的方式解析，相对BS4简单些
data=pd.DataFrame()
for new_list in news_list: 
    chrome_options = webdriver.ChromeOptions()
    chrome_options.add_argument('--headless')#无界面
    browser = webdriver.Chrome(chrome_options=chrome_options)
    browser.get(new_list)
    print('访问第{}篇文章:'.format(news_list.index(new_list)),new_list)
    page=browser.page_source # 获取响应头文本
    html=etree.HTML(page) # 解析网页
    date=html.xpath('//div[@class="article-meta"]//span/text()') # 获取文章的日期，类型为list，xpath方法相对要简单许多
    items=html.xpath('//p[(contains(text(),"，偏离") or contains(text(),"，收盘")) and contains(text(),"%")]/text()')#获取所需内容，可能有杂质
    # 需用到time.sleep,避免被封
    time.sleep(random.randint(10,30))
            
    if items == []: # 有些文章可能没有所需内容，最后还是会为空列表
        continue
    else:
        # 若items中有数据，则处理成二维列表的形式，待后续转换为dataframe
        k=[date+f(i.strip()) for i in items] # 有些爬取的字符串，两边有空格，故要去除，不然函数运行不准确
        k=[i for i in k if len(i)==4]

    df=pd.DataFrame(k,columns=['日期','名称','收盘','偏离']) # 得到每一篇文章所需内容，再转换为表格
    data=pd.concat([data,df]) # 将每一篇文章形成的表格拼起来，相当于数据汇总到一张表上