爬虫3 科研之友学者主页解析数据框架

最新推荐文章于 2024-06-08 00:00:00 发布

Du_Jin_

最新推荐文章于 2024-06-08 00:00:00 发布

阅读量471

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/Du_Jin_/article/details/105709595

版权

本文详细介绍了如何使用爬虫技术解析科研之友网站上的学者主页数据，涵盖了数据获取、处理及框架应用等内容，对于科研数据的收集与分析具有指导意义。

摘要由CSDN通过智能技术生成

科研之友爬虫数据解析

"""
科研之友学者主页解析数据框架
    # 名字(name)
    # 科研之友号（id）
    # 学校（school）
    # 职称(position)
    # 地区（region）
    # 项目(project)
    # 成果(outcome)
    # 阅读(read)
    # 下载(download)
    # 引用(Reference)
    # H指数(H_index)
    # 科技领域(field)
    # 关键词(keywords)

地区和学校失败

"""

import requests
from bs4 import BeautifulSoup
import time
import re

headers = {
   'User-Agent': 'Mozilla/5.0'}



def get_info(url):
    #定义获取网页信息的函数
    names = []
    ids = []
    schools = []
    positions = []
    regions = []
    projects =