PySastrawi 项目使用教程

PySastrawi 项目使用教程

PySastrawiIndonesian stemmer. Python port of PHP Sastrawi project.项目地址:https://gitcode.com/gh_mirrors/py/PySastrawi

1. 项目目录结构及介绍

PySastrawi 是一个用于印尼语(Bahasa)文本处理的 Python 库,主要用于词干提取(stemming)。以下是项目的目录结构及其介绍:

PySastrawi/
├── PySastrawi/
│   ├── __init__.py
│   ├── Stemmer/
│   │   ├── __init__.py
│   │   ├── Stemmer.py
│   │   ├── Dictionary/
│   │   │   ├── __init__.py
│   │   │   ├── ArrayDictionary.py
│   │   │   ├── DictionaryInterface.py
│   │   ├── Filter/
│   │   │   ├── __init__.py
│   │   │   ├── TextNormalizer.py
│   │   ├── Rule/
│   │   │   ├── __init__.py
│   │   │   ├── StemmingRule.py
│   │   │   ├── StemmingRules.py
│   ├── StemmerFactory.py
├── tests/
│   ├── __init__.py
│   ├── test_stemmer.py
├── setup.py
├── README.md
├── LICENSE

目录结构介绍

  • PySastrawi/: 项目的主目录,包含了所有核心代码。
    • init.py: 初始化文件,使得 PySastrawi 可以作为一个 Python 包导入。
    • Stemmer/: 词干提取的核心模块。
      • init.py: 初始化文件。
      • Stemmer.py: 词干提取的主要实现类。
      • Dictionary/: 词典模块,包含了词典的实现。
        • init.py: 初始化文件。
        • ArrayDictionary.py: 基于数组的词典实现。
        • DictionaryInterface.py: 词典接口定义。
      • Filter/: 文本过滤模块。
        • init.py: 初始化文件。
        • TextNormalizer.py: 文本规范化类。
      • Rule/: 词干提取规则模块。
        • init.py: 初始化文件。
        • StemmingRule.py: 词干提取规则类。
        • StemmingRules.py: 词干提取规则集合类。
    • StemmerFactory.py: 词干提取工厂类,用于创建词干提取器实例。
  • tests/: 测试目录,包含了项目的单元测试。
    • init.py: 初始化文件。
    • test_stemmer.py: 词干提取器的单元测试。
  • setup.py: 项目的安装脚本。
  • README.md: 项目的说明文档。
  • LICENSE: 项目的许可证文件。

2. 项目的启动文件介绍

PySastrawi 项目没有传统意义上的“启动文件”,因为它是一个库,主要通过导入和调用其中的类和方法来使用。以下是一个简单的使用示例:

# 导入 StemmerFactory 类
from Sastrawi.Stemmer.StemmerFactory import StemmerFactory

# 创建词干提取器
factory = StemmerFactory()
stemmer = factory.create_stemmer()

# 进行词干提取
sentence = 'Perekonomian Indonesia sedang dalam pertumbuhan yang membanggakan'
output = stemmer.stem(sentence)
print(output)  # 输出: ekonomi indonesia sedang dalam tumbuh yang bangga

在这个示例中,StemmerFactory 类用于创建一个词干提取器实例,然后通过调用 stemmer.stem() 方法对文本进行词干提取。

3. 项目的配置文件介绍

PySastrawi 项目没有专门的配置文件,所有的配置和初始化都在代码中完成。用户可以通过导入 StemmerFactory 类并创建词干提取器实例来使用该库。

配置示例

from Sastrawi.Stemmer.StemmerFactory import StemmerFactory

# 创建词干提取器
factory = StemmerFactory()
stemmer = factory.create_stemmer()

# 使用词干提取器
sentence = 'Perekonomian Indonesia sedang dalam pertumbuhan yang membanggakan'
output = stemmer.stem(sentence)
print(output)  # 输出: ekonomi indonesia sedang dalam tumbuh yang bangga

在这个示例中,StemmerFactory 类负责创建词干提取器实例,用户无需进行额外的配置。

PySastrawiIndonesian stemmer. Python port of PHP Sastrawi project.项目地址:https://gitcode.com/gh_mirrors/py/PySastrawi

使用教程】 一、环境配置 1、建议下载anaconda和pycharm 在anaconda中配置好环境,然后直接导入到pycharm中,在pycharm中运行项目 anaconda和pycharm安装及环境配置参考网上博客,有很多博主介绍 2、在anacodna中安装requirements.txt中的软件包 命令为:pip install -r requirements.txt 或者改成清华源后再执行以上命令,这样安装要快一些 软件包都安装成功后才算成功 3、安装好软件包后,把anaconda中对应的python导入到pycharm中即可(不难,参考网上博客) 二、环境配置好后,开始训练(也可以训练自己数据集) 1、数据集准备 需要准备yolo格式的目标检测数据集,如果不清楚yolo数据集格式,或者有其他数据训练需求,请看博主yolo格式各种数据集集合链接:https://blog.csdn.net/DeepLearning_/article/details/127276492 里面涵盖了上百种yolo数据集,且在不断更新,基本都是实际项目使用。来自于网上收集、实际场景采集制作等,自己使用labelimg标注工具标注的。数据集质量绝对有保证! 本项目所使用的数据集,见csdn该资源下载页面中的介绍栏,里面有对应的下载链接,下载后可直接使用。 2、数据准备好,开始修改配置文件 参考代码中data文件夹下的banana_ripe.yaml,可以自己新建一个不同名称的yaml文件 train:训练集的图片路径 val:验证集的图片路径 names: 0: very-ripe 类别1 1: immature 类别2 2: mid-ripe 类别3 格式按照banana_ripe.yaml照葫芦画瓢就行,不需要过多参考网上的 3、修改train_dual.py中的配置参数,开始训练模型 方式一: 修改点: a.--weights参数,填入'yolov9-s.pt',博主训练的是yolov9-s,根据自己需求可自定义 b.--cfg参数,填入 models/detect/yolov9-c.yaml c.--data参数,填入data/banana_ripe.yaml,可自定义自己的yaml路径 d.--hyp参数,填入hyp.scratch-high.yaml e.--epochs参数,填入100或者200都行,根据自己的数据集可改 f.--batch-size参数,根据自己的电脑性能(显存大小)自定义修改 g.--device参数,一张显卡的话,就填0。没显卡,使用cpu训练,就填cpu h.--close-mosaic参数,填入15 以上修改好,直接pycharm中运行train_dual.py开始训练 方式二: 命令行方式,在pycharm中的终端窗口输入如下命令,可根据自己情况修改参数 官方示例:python train_dual.py --workers 8 --device 0 --batch 16 --data data/coco.yaml --img 640 --cfg models/detect/yolov9-c.yaml --weights '' --name yolov9-c --hyp hyp.scratch-high.yaml --min-items 0 --epochs 500 --close-mosaic 15 训练完会在runs/train文件下生成对应的训练文件及模型,后续测试可以拿来用。 三、测试 1、训练完,测试 修改detect_dual.py中的参数 --weights,改成上面训练得到的best.pt对应的路径 --source,需要测试的数据图片存放的位置,代码中的test_imgs --conf-thres,置信度阈值,自定义修改 --iou-thres,iou阈值,自定义修改 其他默认即可 pycharm中运行detect_dual.py 在runs/detect文件夹下存放检测结果图片或者视频 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

韩蔓媛Rhett

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值