同时输出多个方法的Top-K节点(Python)

注意:

该方法输出的为Top-K节点的索引(index),即若节点Id为1~n,则对应输出索引为0~n-1。

读者需要根据自己的实际应用进行调整或修改!

输入:“多方法排序.csv”文件对应的Dataframe

文件类型如下图

IdLRPRS1S2S3
10.6270.0076690.54050.60140.561
20.6270.0076690.63120.65740.6462
30.6270.0076690.48010.55830.5017
40.72170.0098640.50010.59370.5168
50.68250.0089340.44610.52130.4479
60.72170.0098640.53380.6270.5555
70.72170.0098640.50010.59370.5168

 输出:各个方法按照方法/指标值从大到小排序,选择前k的节点的索引构成Dataframe

代码

# 获得所需的top-k节点
def getTopK(methods, k):
    print('Top-' + str(k) + '节点生成中...')
    methods_name = np.array(methods.columns)[1: len(methods.columns)]
    print('文件中共有以下 ' + str(len(methods_name)) + ' 种方法')
    print(methods_name)
    df = pd.DataFrame(columns=methods_name)  # 存储各个方法的top-k节点
    # 循环每一个方法
    for i in range(len(methods_name)):
        method = methods.iloc[:, i + 1]  # 方法列
        top_K = method.argsort()[::-1][0:k]  # top-k,此处为索引号,与Id号差1
        df[methods_name[i]] = top_K  # 存储到dataframe
    return df

测试

from SIRTool import getTopK  # 引入该方法

if __name__ == '__main__':
    methods = pd.read_csv('多方法排序.csv')  # 多种方法的排序结果
    k = 5    # 取排名前5的节点
    df = getTopK(methods, k)  # 多种方法的Top-k结果
    print(df)
    df.to_csv('Top-' + str(k) + ' nodes.csv', index=False)
    print('Top-' + str(k) + '节点已存储至本地!\n')

输出结果: 

Top-5节点生成中...
文件中共有以下 5 种方法
['LR' 'PR' 'S1' 'S2' 'S3']
    LR  PR  S1  S2  S3
51  25  39  25  25  25
50  39  25  39  39  39
49  41  41  41  41  41
48  20  20  42  20  20
47  42  42  20  42  42
Top-5节点已存储至本地!

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要使用分布式scrapy-redis进行爬取豆瓣电影top250,需要进行以下步骤: 1. 安装Scrapy和Scrapy-Redis 首先需要安装Scrapy和Scrapy-Redis,可以使用以下命令进行安装: ``` pip install scrapy pip install scrapy-redis ``` 2. 配置Redis数据库 配置Redis数据库,用于存储爬虫的请求队列和爬取结果。可以在本地搭建一个Redis服务器,也可以使用云服务提供商提供的Redis服务。 3. 创建Scrapy项目 使用命令行工具创建Scrapy项目: ``` scrapy startproject douban_top250 ``` 4. 配置Scrapy-Redis 在settings.py文件中添加以下配置信息: ``` # 开启Redis调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 去重过滤器,使用Redis数据库进行去重 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # 将爬取到的数据存储到Redis数据库中 ITEM_PIPELINES = { "scrapy_redis.pipelines.RedisPipeline": 300 } # Redis数据库连接配置 REDIS_HOST = 'localhost' REDIS_PORT = 6379 ``` 5. 创建Spider 在spiders目录下创建一个名为douban.py的Spider文件,编写爬取代码,例如: ``` from scrapy_redis.spiders import RedisSpider class DoubanSpider(RedisSpider): name = 'douban' allowed_domains = ['movie.douban.com'] redis_key = 'douban:start_urls' def parse(self, response): # 爬取代码 ``` 6. 启动爬虫 在命令行中启动爬虫: ``` scrapy crawl douban ``` 爬虫会自动将请求放入Redis数据库中,多个爬虫节点可以同时从Redis数据库中获取请求进行爬取,实现分布式爬取。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值