nubbi模型的启发

document-network,描述主题间关系,rtm、nubbi、

社交网络是用来描述实体之间,即人与人之间关系的结构,而关系一般通过文字的形式含蓄的表达。比如一篇涉及总统Regen和演员Wyman的文章,会出现如:政治、娱乐、结婚等话题的“实词”。我们认为这些实词不是用来描述人的,就是用来描述关系的,因此划掉了实体词袋和functional words,剩下的就是描述关系的词。因此实体主题和关系主题应用不同的分布,可总结出:(家庭关系词)(职业关系)(政治关系)等的关系主题,以及哪些个体之间存在上述关系。应用该模型可以:

1、构建多项式分布的实体词袋集,识别某些人的某些特征,即他们的实体主题特征;

2、构建多项式分布的关系词袋集,识别关系的类型,即家庭?从属?等;

3、构建实体和关系共现的多项式分布,即这些人有这些关系。

特别的,模型定义了一个多项式分布、取值(1,2,3)的selector变量,当取不同值时,进行实体1、实体2、关系3的参数估计,从而,一篇文章中的词一定是number_of _entities+pair个词袋。实体词的生成仅受theta约束,关系(pair)词的生成受两个实体的theta或自己的psi参数约束(关系词就可能是与实体词相同的词),

手动进行上述关系的刻画不够实际,从而导致很多实体没有建立关系,或仅在一个小的数据集上建立固有的、预先指定的关系。

在evaluation部分,作者应用unigram、lda、author-topic(一本书有很多作者,先抽一个作者,再根据作者抽一个主题,再进行主题词的抽取。相当于在主题层上加了个作者层)、nubbi四个模型在数据集:bible、biological(gene、disease等在文献的摘要中)、wiki上进行了词的主题预测和实体的主题预测。在词的主题预测中,nubbi在bible、wiki上的效果好,在biological上效果差,作者给出的解释是一篇wiki文本中有更多的词,在k值相同的情况下利用有标注的主题划分效果显然会更好;而biological下

算法输入有标记实体的文本,如果两个实体共现多,则为二者建立关系,

同样的,食品安全报道中涉及的实体通常包括:食品、违禁内容、人(健康),通过描述三者之间的关系,表达一个事件。有助于结构化的表达,有助于更加深入的挖掘。

Reference:

Connections between the Lines:Augmenting Social Networks with Text

PS:

感觉这帮人的研究重点在于如何基于不同文本的特异性构建语义网,而不是如何利用语义网,

在使用Python来安装geopandas包时,由于geopandas依赖于几个其他的Python库(如GDAL, Fiona, Pyproj, Shapely等),因此安装过程可能需要一些额外的步骤。以下是一个基本的安装指南,适用于大多数用户: 使用pip安装 确保Python和pip已安装: 首先,确保你的计算机上已安装了Python和pip。pip是Python的包管理工具,用于安装和管理Python包。 安装依赖库: 由于geopandas依赖于GDAL, Fiona, Pyproj, Shapely等库,你可能需要先安装这些库。通常,你可以通过pip直接安装这些库,但有时候可能需要从其他源下载预编译的二进制包(wheel文件),特别是GDAL和Fiona,因为它们可能包含一些系统级的依赖。 bash pip install GDAL Fiona Pyproj Shapely 注意:在某些系统上,直接使用pip安装GDAL和Fiona可能会遇到问题,因为它们需要编译一些C/C++代码。如果遇到问题,你可以考虑使用conda(一个Python包、依赖和环境管理器)来安装这些库,或者从Unofficial Windows Binaries for Python Extension Packages这样的网站下载预编译的wheel文件。 安装geopandas: 在安装了所有依赖库之后,你可以使用pip来安装geopandas。 bash pip install geopandas 使用conda安装 如果你正在使用conda作为你的Python包管理器,那么安装geopandas和它的依赖可能会更简单一些。 创建一个新的conda环境(可选,但推荐): bash conda create -n geoenv python=3.x anaconda conda activate geoenv 其中3.x是你希望使用的Python版本。 安装geopandas: 使用conda-forge频道来安装geopandas,因为它提供了许多地理空间相关的包。 bash conda install -c conda-forge geopandas 这条命令会自动安装geopandas及其所有依赖。 注意事项 如果你在安装过程中遇到任何问题,比如编译错误或依赖问题,请检查你的Python版本和pip/conda的版本是否是最新的,或者尝试在不同的环境中安装。 某些库(如GDAL)可能需要额外的系统级依赖,如地理空间库(如PROJ和GEOS)。这些依赖可能需要单独安装,具体取决于你的操作系统。 如果你在Windows上遇到问题,并且pip安装失败,尝试从Unofficial Windows Binaries for Python Extension Packages网站下载相应的wheel文件,并使用pip进行安装。 脚本示例 虽然你的问题主要是关于如何安装geopandas,但如果你想要一个Python脚本来重命名文件夹下的文件,在原始名字前面加上字符串"geopandas",以下是一个简单的示例: python import os # 指定文件夹路径 folder_path = 'path/to/your/folder' # 遍历文件夹中的文件 for filename in os.listdir(folder_path): # 构造原始文件路径 old_file_path = os.path.join(folder_path, filename) # 构造新文件名 new_filename = 'geopandas_' + filename # 构造新文件路径 new_file_path = os.path.join(folder_path, new_filename) # 重命名文件 os.rename(old_file_path, new_file_path) print(f'Renamed "{filename}" to "{new_filename}"') 请确保将'path/to/your/folder'替换为你想要重命名文件的实际文件夹路径。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值