[案例]国家数据局:首批“数据要素×”典型案例深度解析系列之四

通过示范引领,激励多方主体积极参与,释放数据要素价值。

在第七届数字中国建设峰会的第一天,即5月24日,国家数据局会同各领域主管部门,包括生态环境部、交通运输部、金融监管总局、中国科学院、中国气象局、国家文物局、国家中医药局等部门一起,发布首批20个“数据要素×”典型案例。

案例总共有20个,之前鼹鼠哥介绍了典型案例的前几个案例,并就各自的背景和具体做法做了解析。

[案例]国家数据局:首批“数据要素×”典型案例深度解析系列之一

[案例]国家数据局:首批“数据要素×”典型案例深度解析系列之二

[案例]国家数据局:首批“数据要素×”典型案例深度解析系列之三

今天我们继续来看后边两个案例。

01   案例之七|浙江网商银行-融合农业农村大数据和遥感风控数据 助力普惠金融服务

——————————————————

前边的第五个案例也是浙江的,是通过数据助力义务小商品的销售。现在又有浙江网商银行通过农村大数据助力普惠的案例。

这个案例里边有两个主体,浙江网商银行和蚂蚁科技,蚂蚁科技大家都比较熟悉了,网商银行可能有人不熟悉,其实他也是阿里系的金融机构,侧重于通过互联网渠道开展小微金融服务。

我们回到正题,农村的普惠金融,以及绿色金融。

近年来,国家高度重视农业领域的普惠金融和绿色金融发展。根据相关政策文件,2021年中央一号文件首次提出发展农村数字普惠金融。2023年,人民银行等五部委发布的《关于金融支持全面推进乡村振兴 加快建设农业强国的指导意见》进一步对发展农村数字普惠金融作出具体部署。此外,2024年中央一号文件再次强调发展农村数字普惠金融。这些政策文件表明,国家在推动农业普惠金融和绿色金融方面采取了多项措施,旨在通过金融手段促进乡村振兴和农业现代化。

农村资产难以确权和进行资产评估

尽管国家政策支持力度大,但农村资产确权和评估仍面临诸多挑战。主要原因包括:

  1. 产权价值评估困难:农村产权价值总体较低,抵押贷款金额不大且流程繁琐,办理环节较多,与农户小额信用贷款相比缺乏比较优势,银行机构拓展的积极性不高。

  2. 后处置困难:农村产权融资出现后处置困难,增加了金融机构的风险。

  3. 信息不对称:农村地区的信息化水平较低,导致金融机构难以获取农户的真实信用信息,增加了贷款风险。

这些问题直接影响了金融机构对农业普惠贷款的积极性,导致很多农业普惠贷款都是政策性的,而非市场化的。

大数据技术改变农村资产确权和评估

随着大数据技术的发展,特别是遥感数据的应用,农村资产确权和评估的难题得到了有效缓解。具体来说:

  1. 卫星遥感技术:通过卫星遥感技术,可以获取农田的详细影像数据,结合人工智能技术,可以对农作物的种植面积、品种、成熟程度和收成进行预测分析。例如,网商银行利用卫星遥感技术结合AI模型算法获取可信动态数据,并将其应用到涉农信用贷款模型中。

  2. 多源数据建模分析:通过多源数据建模分析,可以实现普惠金融服务模式创新。深入挖掘农田遥感数据在预测农作物种植面积、品种、成熟程度和收成方面的价值,结合农户个人授信数据及其他相关信息,可以更准确地评估农户的资产情况。

  3. 联邦学习:在推动卫星遥感数据应用的过程中,降低内外信息交互系统的耦合程度,加大加密技术的应用力度,通过联邦学习方式进行数据采集、模型建设,助力解决农村金融风险识别难的问题,提升线上信贷服务的效率以及质量。

影响农村普惠金融发展的具体应用

大数据技术的应用不仅提高了农村资产确权和评估的准确性,还促进了农村普惠金融的发展:

  1. 降低贷款门槛:通过卫星遥感技术和大数据分析,金融机构可以更准确地评估农户的资产情况,从而降低贷款门槛,让更多的农户能够获得贷款。

  2. 提高贷款效率:例如,网商银行采用卫星遥感技术获取种植大户的作物全生长周期遥感影像,为农户授信策略提供可信数据,实现了3分钟申请贷款,1秒钟放款。

  3. 风险控制:通过大数据和人工智能技术,金融机构可以更好地识别和管理贷款风险,减少不良贷款的发生。

总之,大数据技术特别是卫星遥感数据的应用,极大地改变了农村资产确权和评估的方式,推动了农村普惠金融和绿色金融的发展,为乡村振兴提供了有力支持。

下边是案例自身报道:

通过普惠金融健全农村金融服务体系,加大对农村地区的信贷投放力度,增强农户群体的内生发展动力,是助力乡村振兴战略的有效手段。在农业生产融资过程中,农户往往面临可抵押资产少、农产品生长受气候环境影响大、普惠金融贷款渠道和产品不足等问题。为解决这类问题,浙江网商银行股份有限公司、蚂蚁科技集团股份有限公司和农业农村部大数据中心合作,通过遥感、数字风控等技术的创新结合,结合多方数据建立新型农业信用贷款授信评估体系,提升金融服务对农户的授信范围和额度,同时提高金融服务机构的风险防范能力。

一是建设隐私计算平台,实现多方数据安全融合。利用隐私计算技术,将遥感识别数据、农户个人授权数据和农业农村部的农村土地基础数据、承包数据、农业生产活动等公共数据安全汇集进行联合建模。

二是多源数据建模分析,实现普惠金融服务模式创新。深入挖掘农田遥感数据在预测农作物种植面积、品种、成熟程度和收成方面的价值,结合农户个人授信数据及全量地图数据匹配分析,实时掌握农户种植农田的真实经营情况,用于农业信贷授信评估。有效解决小农户因缺乏贷款记录、有效抵质押物而难以获得贷款支持的难题。自2023年起,累计为260万农户提供普惠金融服务,授信总额638.8亿元,其中53万农户为首次获得银行贷款;覆盖全国31个省(区、市)的2688个县级行政区,占全国县级行政区94.44%。

图片

02   案例之八|安徽机数量子科技-高质量化学及材料科学数据集 加速材料研发范式变革

——————————————————

这个领域鼹鼠哥就是门外汉了,但是可以就其中的一些技术点跟大家聊一聊。

从数据的开发利用来看,大体都会包括如下三个环节,收集,保存,建模开发。

一、数据收集与构建

  1. 数据收集:

    • 网络爬虫:这是大数据分析师常用的一种数据收集方法。通过编写程序,爬虫可以自动从各种网站抓取数据,并将其存储到数据库中。

    • API采集:通过调用公开的API接口,可以从外部系统中获取数据。

    • 日志采集:通过收集应用程序、操作系统、网络设备等产生的日志数据,以提取有用的信息。

  2. 非结构化数据处理:

在本案例中,涉及到大量的文本类和图像类的材料的处理,他们都属于非结构化数据。

    • 文本挖掘:将非结构化文本数据转化为结构化数据,如表格、标签和摘要。

    • 图像识别:利用图像分析技术从图片中提取意义,例如识别图片中的物体或人脸。

    • 视频处理:对视频数据进行分析和处理,提取其中的有用信息。

      3.数据预处理:

      在进行了基本的处理后,还要进行清洗等等处理。

    • 数据清洗:去除数据中的噪声和错误信息,确保数据质量。

    • 实体识别:从文本中识别出具体的实体,如人名、地名、机构名等。

    • 知识表示模型:选择合适的知识表示模型来描述实体及其关系。

二、数据组织与知识图谱构建

对于数据的保存,我们听到最多的是数据库了。但是在人类的知识保存方面,知识图谱具有巨大的优越性。

  1. 传统数据库与非关系型数据库:

    • 传统数据库:如MySQL、Oracle等,适用于结构化数据的存储和管理。

    • 非关系型数据库:如Cassandra、MongoDB等,适用于非结构化数据的存储和处理。

  2. 知识图谱:

    • 定义与分类:知识图谱是一种用于存储和组织知识的图形结构,包含实体、属性和关系三部分。

    • 构建方法:知识图谱的构建方法包括自底向上、自顶向下和二者混合的方法。具体步骤包括数据源选择、数据清洗、实体识别、知识表示、图数据库选择、数据预处理、实体关系识别、图数据库存储、优化和索引等

    • 优越性:知识图谱能够有效地保存人类知识,并支持复杂的查询和推理操作。

在当前这个全社会大协作的背景下,模型开发必然要走协作的方式,技术上也有了相应的支持方式。

三、模型构建与协作开发

  1. 联邦计算:

    • 基本原理:联邦计算是一种在不共享原始数据的情况下进行数据分析和机器学习的技术。各方可以在保持数据隐私的同时进行模型训练和推理。

    • 应用场景:联邦计算广泛应用于数字广告营销、医疗保健等领域,解决了数据孤岛问题,保护了数据隐私。

  2. 其他相关技术:

    • 分布式计算:如MapReduce,适用于大规模数据的并行处理。

    • 本体对齐:通过本体映射、元组抽取、指代消解、元组集成及谓词映射等方法实现自然语言文本的知识图谱构建。

通过以上步骤,材料科学领域的研究人员可以有效地利用大数据技术进行数据分析和模型构建。从数据收集与处理到知识图谱的构建,再到模型的协作开发,每一步都离不开先进的技术和方法。联邦计算作为一种新兴技术,为多方协作提供了新的思路和解决方案,具有重要的实际应用价值。

如下是原文:

材料科学是国民经济发展的基础,材料研发的进步有助于国家经济从高速发展向高质量发展转变,新材料产业的战略性崛起对促进高端装备突破及保障国家重大战略需求意义重大。但材料研发的传统“试错”模式存在研发周期较长、成本较高、不确定性较大等问题。合肥机数量子科技有限公司通过建立高质量化学和材料科学数据库,训练材料配方与合成方案人工智能分析模型,构建机器人实验系统,打造基于数据的材料研发新模式,显著提升新材料研发质效,大幅增强相关产品市场竞争力。

一是建立高质量化学和材料科学数据库。通过挖掘专利论文等文献数据,开展高效量子化学计算,建立了含9000万化合物、1100万化学反应路径的大规模材料数据库。

二是训练专项人工智能分析模型。构建包含材料结构、性能等特征的材料配方与合成方案的人工智能分析模型,借助高质量化学和材料科学数据,对模型进行训练和调优,形成可用于寻找材料配方和合成方案的人工智能产品。

三是打造智能化机器人实验系统。建设机器人试验系统“机器化学家”,实现“数据读取-方案设计-实验操作”全流程智能化,变革材料研发范式,提升研发效能。“机器化学家”日均可完成百次以上化学实验操作,并将数千次实验优化过程缩短至300次以下,开发效率提升超百倍,全局优化准确率达到90%以上。同时,实验结果反哺到数据库中,推动数据智能驱动材料研发的良性循环。2023年上线以来,系统已在20余家高校、科研机构及行业头部企业得到应用,支撑解决了如开发记忆金属、红外探测芯片光吸收增强、磷矿浮选、智能窗材料等一批技术难题,提升了相关产品的技术水平和市场竞争力。

构建高质量化学与材料数据库

图片

构建知识图谱,开发智能模型

图片

 推动模型应用

图片

构建数据智能驱动的全流程机器化学家

图片

  • 7
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
首先需要了解得物网站的数据结构和爬取方式,得物网站比较复杂,需要使用Selenium+BeautifulSoup进行爬取。 以下是一个简单的得物爬虫Python代码实现(注:仅供学习参考,请勿用于商业用途): ```python import time from selenium import webdriver from selenium.webdriver.chrome.options import Options from bs4 import BeautifulSoup options = Options() options.add_argument('--no-sandbox') # 解决DevToolsActivePort文件不存在报错的问题 options.add_argument('window-size=1920x3000') # 指定浏览器分辨率 options.add_argument('--disable-gpu') # 谷歌文档提到需要加上这个属性来规避bug options.add_argument('--hide-scrollbars') # 隐藏滚动条, 应对一些特殊页面 options.add_argument('blink-settings=imagesEnabled=false') # 不加载图片, 提升速度 options.add_argument('--headless') # 无界面 driver = webdriver.Chrome(options=options) url = 'https://www.dewu.com/' driver.get(url) # 等待页面加载完成 time.sleep(3) # 模拟鼠标点击,展开商品列表 driver.find_element_by_xpath('//div[text()="全部商品"]').click() # 等待页面加载完成 time.sleep(3) # 获取页面源代码 html = driver.page_source # 解析页面 soup = BeautifulSoup(html, 'html.parser') # 获取商品列表 items = soup.find_all('div', {'class': 'item-card'}) for item in items: # 获取商品标题 title = item.find('div', {'class': 'title'}).text.strip() # 获取商品价格 price = item.find('div', {'class': 'price'}).text.strip() # 获取商品链接 link = item.find('a', {'class': 'item-link'})['href'] print(title, price, link) # 关闭浏览器 driver.quit() ``` 这里的代码仅仅是一个简单的爬虫示例,如果想要更加深入地了解得物网站的数据结构和爬取方式,需要结合具体的需求进行更加详细的分析和实现。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值