RadioML2018.01a数据拆分

于 2024-10-18 17:03:51 发布
阅读量1.4k 收藏 34
点赞数 8
分类专栏： 调制信号识别系列 文章标签： 调制信号识别 python 数据分析 无线信号 信号调制
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a_student_2020/article/details/143057988
版权

RadioML2018.01a数据拆分

支持选择不同调制类型、不同SNR、不同样本的组合输出，输出的文件保存为npy文件

项目地址：GitHub - daetz-coder/split_radioML2018_tools: Split RadioML2018 Tools

文章目录

一、前言

在调制信号识别的过程中，难免需要使用不同信噪比或不同调制类型的数据，但是完整的数据过于庞大，本文提供一种可选参数的数据集划分方法。支持单一类型或多类型数据的输出，输出的结果保存到npy文件这种，方便后续加载，可选参数如下：

  • --hdf5_path: 输入 HDF5 文件的路径（必填）。
  • --output_dir: 输出数据保存的根目录（必填）。
  • --modulations: 目标调制类型列表（可选）。如果未指定，则默认选择所有 24 种调制类型。
  • --snrs: 目标 SNR 列表（必填）。
  • --samples: 每种条件下提取的样本数量（默认 1000）。

数据集包含24种调制样式：‘OOK’, ‘4ASK’, ‘8ASK’, ‘BPSK’, ‘QPSK’, ‘8PSK’, ‘16PSK’, ‘32PSK’, ‘16APSK’, ‘32APSK’, ‘64APSK’, ‘128APSK’, ‘16QAM’, ‘32QAM’, ‘64QAM’, ‘128QAM’, ‘256QAM’, ‘AM-SSB-WC’, ‘AM-SSB-SC’, ‘AM-DSB-WC’, ‘AM-DSB-SC’,‘FM’, ‘GMSK’, ‘OQPSK’

信噪比范围：SNR = 【-20:32:2】 -20到30间隔2，共26种信噪比，具体【-20，-18…28,30】

每个调制，每个信噪比有4096条数据，共计2555904（24*26*4096）条数据，IQ数据，数据格式为（1024, 2）

在数据集存放文件hdf5文件，存在3个参数X(IQ信号)，Y(调制方式），Z（信噪比）
X——>[24*26*4096，1024，2]
Y——>[24*26*4096，24] 采用onehot，所以不是[24*26*4096，1] ，顺序为上述顺序（class-fixed.txt修正后的 ）
Z——>[24*26*4096，1]

【AMR自动调制识别数据预处理】DeepSig RadioML 2018.01A 处理为单信噪比单调制数据_radioml2018.01a-CSDN博客

二、项目构建

由于GOLD_XYZ_OSC.0001_1024.hdf5 文件较大，需要内存大于20GB

git clone https://github.com/daetz-coder/split_radioML2018_tools

1、项目结构

project/
│
├── data/
│
├── scripts/
│   ├── data_extractor.py
│   ├── data_saver.py
│   └── main.py
│
├── tests/
│   └── check_npy.ipynb
│
├── requirements.txt
└── README.md

2、安装依赖

pip install requirements.txt

3、运行

  • --hdf5_path: 输入 HDF5 文件的路径（必填）。
  • --output_dir: 输出数据保存的根目录（必填）。
  • --modulations: 目标调制类型列表（可选）。如果未指定，则默认选择所有 24 种调制类型。
  • --snrs: 目标 SNR 列表（必填）。
  • --samples: 每种条件下提取的样本数量（默认 1000）。
1、指定SNR、不指定调制类型（处理所有调制类型）
python scripts/main.py \
    --hdf5_path '../GOLD_XYZ_OSC.0001_1024.hdf5' \
    --output_dir './data/selected_data' \
    --snrs 6 \
    --samples 10
2、指定多种SNR、不指定调制类型（处理所有调制类型）
python scripts/main.py \
    --hdf5_path '../GOLD_XYZ_OSC.0001_1024.hdf5' \
    --output_dir './data/selected_data' \
    --snrs -20 30 \
    --samples 10
3、指定SNR 、指定调制类型
python scripts/main.py \
    --hdf5_path '../GOLD_XYZ_OSC.0001_1024.hdf5' \
    --output_dir './data/selected_data' \
    --modulations 'QPSK' 'BPSK' \
    --snrs 6 \
    --samples 10
4、结果
project/
│
├── data/
│   └── selected_data/
│       ├── SNR_6/
│       │   ├── X_SNR_6_mod_QPSK.npy
│       │   └── X_SNR_6_mod_BPSK.npy
│       └── SNR_10/
│           ├── X_SNR_10_mod_QPSK.npy
│           └── X_SNR_10_mod_BPSK.npy
│
├── scripts/
│   ├── data_extractor.py
│   ├── data_saver.py
│   └── main.py
│
├── tests/
│   └── check_npy.ipynb
│
├── requirements.txt
└── README.md

三、方法介绍

1、data_extractor.py

  • 功能: 提取指定调制类型和 SNR 下的 X 数据样本。
  • 主要函数
    • extract_X_data: 根据调制类型和 SNR 筛选 X 数据，并随机选择指定数量的样本。

2、data_saver.py

  • 功能: 提供保存数据的工具函数。
  • 主要函数
    • save_to_npy: 将数据保存为 .npy 文件。
    • create_directory: 创建目录，如果目录不存在。

3、main.py

  • 功能: 主脚本，负责解析命令行参数，调用数据提取和保存函数。
  • 主要流程:
    1. 解析命令行参数: 使用 argparse 解析输入参数，包括输入文件路径、输出目录、目标调制类型（默认所有）、目标 SNR、每种条件下的样本数量。
    2. 设置随机种子: 确保随机选择的可重复性。
    3. 创建输出目录: 使用 create_directory 函数创建输出文件夹。
    4. 读取 HDF5 文件: 使用 h5py 读取输入 HDF5 文件中的 X, Y, Z 数据集。
    5. 遍历每个 SNR
      • 为每个 SNR 创建一个文件夹。
      • 在每个 SNR 文件夹内，遍历所有指定的调制类型，提取 X 数据，并保存为 .npy 文件。
  • 参数说明:
    • --hdf5_path: 输入 HDF5 文件的路径（必填）。
    • --output_dir: 输出数据保存的根目录（必填）。
    • --modulations: 目标调制类型列表（可选）。如果未指定，则默认选择所有 24 种调制类型。
    • --snrs: 目标 SNR 列表（必填）。
    • --samples: 每种条件下提取的样本数量（默认 1000）。

四、终端日志

python scripts/main.py \
    --hdf5_path '../GOLD_XYZ_OSC.0001_1024.hdf5' \
    --output_dir './data/selected_data' \
    --snrs 6 \
    --samples 10

2024-10-18 16:01:19,326 - INFO - 可用的调制类型：OOK, 4ASK, 8ASK, BPSK, QPSK, 8PSK, 16PSK, 32PSK, 16APSK, 32APSK, 64APSK, 128APSK, 16QAM, 32QAM, 64QAM, 128QAM, 256QAM, AM-SSB-WC, AM-SSB-SC, AM-DSB-WC, AM-DSB-SC, FM, GMSK, OQPSK
2024-10-18 16:01:19,327 - INFO - 打开HDF5文件: ../GOLD_XYZ_OSC.0001_1024.hdf5
2024-10-18 16:01:33,334 - INFO - 目标调制类型：OOK, 4ASK, 8ASK, BPSK, QPSK, 8PSK, 16PSK, 32PSK, 16APSK, 32APSK, 64APSK, 128APSK, 16QAM, 32QAM, 64QAM, 128QAM, 256QAM, AM-SSB-WC, AM-SSB-SC, AM-DSB-WC, AM-DSB-SC, FM, GMSK, OQPSK
2024-10-18 16:01:33,334 - INFO - 目标 SNR：6 dB
2024-10-18 16:01:33,334 - INFO - 每种条件下提取的样本数量：10
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_OOK.npy
2024-10-18 16:01:33,379 - INFO - 提取并保存 OOK 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_4ASK.npy
2024-10-18 16:01:33,425 - INFO - 提取并保存 4ASK 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_8ASK.npy
2024-10-18 16:01:33,467 - INFO - 提取并保存 8ASK 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_BPSK.npy
2024-10-18 16:01:33,510 - INFO - 提取并保存 BPSK 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_QPSK.npy
2024-10-18 16:01:33,553 - INFO - 提取并保存 QPSK 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_8PSK.npy
2024-10-18 16:01:33,595 - INFO - 提取并保存 8PSK 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_16PSK.npy
2024-10-18 16:01:33,637 - INFO - 提取并保存 16PSK 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_32PSK.npy
2024-10-18 16:01:33,685 - INFO - 提取并保存 32PSK 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_16APSK.npy
2024-10-18 16:01:33,728 - INFO - 提取并保存 16APSK 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_32APSK.npy
2024-10-18 16:01:33,770 - INFO - 提取并保存 32APSK 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_64APSK.npy
2024-10-18 16:01:33,813 - INFO - 提取并保存 64APSK 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_128APSK.npy
2024-10-18 16:01:33,855 - INFO - 提取并保存 128APSK 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_16QAM.npy
2024-10-18 16:01:33,897 - INFO - 提取并保存 16QAM 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_32QAM.npy
2024-10-18 16:01:33,940 - INFO - 提取并保存 32QAM 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_64QAM.npy
2024-10-18 16:01:33,988 - INFO - 提取并保存 64QAM 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_128QAM.npy
2024-10-18 16:01:34,030 - INFO - 提取并保存 128QAM 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_256QAM.npy
2024-10-18 16:01:34,072 - INFO - 提取并保存 256QAM 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_AM-SSB-WC.npy
2024-10-18 16:01:34,115 - INFO - 提取并保存 AM-SSB-WC 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_AM-SSB-SC.npy
2024-10-18 16:01:34,157 - INFO - 提取并保存 AM-SSB-SC 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_AM-DSB-WC.npy
2024-10-18 16:01:34,200 - INFO - 提取并保存 AM-DSB-WC 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_AM-DSB-SC.npy
2024-10-18 16:01:34,242 - INFO - 提取并保存 AM-DSB-SC 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_FM.npy
2024-10-18 16:01:34,291 - INFO - 提取并保存 FM 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_GMSK.npy
2024-10-18 16:01:34,333 - INFO - 提取并保存 GMSK 在 6 dB 下的 10 个样本成功。
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_OQPSK.npy
2024-10-18 16:01:34,375 - INFO - 提取并保存 OQPSK 在 6 dB 下的 10 个样本成功。
2024-10-18 16:01:34,376 - INFO - 所有数据提取与保存操作已完成。

python scripts/main.py \
    --hdf5_path '../GOLD_XYZ_OSC.0001_1024.hdf5' \
    --output_dir './data/selected_data' \
    --modulations 'QPSK' 'BPSK' \
    --snrs 6 \
    --samples 2

2024-10-18 15:56:47,481 - INFO - 可用的调制类型：OOK, 4ASK, 8ASK, BPSK, QPSK, 8PSK, 16PSK, 32PSK, 16APSK, 32APSK, 64APSK, 128APSK, 16QAM, 32QAM, 64QAM, 128QAM, 256QAM, AM-SSB-WC, AM-SSB-SC, AM-DSB-WC, AM-DSB-SC, FM, GMSK, OQPSK
2024-10-18 15:56:47,482 - INFO - 打开HDF5文件: ../GOLD_XYZ_OSC.0001_1024.hdf5
2024-10-18 15:57:01,735 - INFO - 目标调制类型：QPSK
2024-10-18 15:57:01,735 - INFO - 目标 SNR：6 dB
2024-10-18 15:57:01,735 - INFO - 每种条件下提取的样本数量：2
数据已保存到 ./data/selected_data/SNR_6/X_SNR_6_mod_QPSK.npy
2024-10-18 15:57:01,772 - INFO - 提取并保存 QPSK 在 6 dB 下的 2 个样本成功。
2024-10-18 15:57:01,772 - INFO - 所有数据提取与保存操作已完成。
RML2018.01a数据集的读取与使用
QAQIknow的博客
04-29 1万+
基于深度学习的自动调制识别
Python深度学习：【开源数据集系列】RML2018数据集下载、简介、预处理、数据子集挑选、多模态数据集生成
若北辰
04-25 1954
数据集包含24种调制样式：classes =[‘32PSK’,‘16APSK’,‘32QAM’,‘FM’,‘GMSK’,‘32APSK’,‘OQPSK’,‘8ASK’,‘BPSK’,‘8PSK’,‘4ASK’,‘16PSK’,‘64APSK’,‘128QAM’,‘128APSK’,‘64QAM’,‘QPSK’,‘256QAM’,‘OOK’,‘16QAM’]信噪比。
radioml2018数据集_7 Papers & Radios | CVPR 2020获奖论文；知识蒸馏综述
weixin_35346761的博客
02-21 1053
机器之心 & ArXiv Weekly Radiostation参与：杜伟、楚航、罗若天本周的重要论文是CVPR 2020 公布的各奖项获奖论文，包括最佳论文和最佳学生论文等。目录：Knowledge Distillation: A SurveyDescription Based Text Classification with Reinforcement LearningUnsuperv...
DeepSig RadioML 2018.01A 处理为单信噪比单调制数据
weixin_40692714的博客
09-23 7072
原数据下载网址：RF Datasets For Machine Learning | DeepSig 该数据集包含24种调制样式：'OOK', '4ASK', '8ASK', 'BPSK', 'QPSK', '8PSK', '16PSK', '32PSK', '16APSK', '32APSK', '64APSK', '128APSK', '16QAM', '32QAM', '64QAM', '128QAM', '256QAM', 'AM-SSB-WC', 'AM-SSB-SC', 'AM-DSB-WC'
【AMR自动调制识别数据预处理】DeepSig RadioML 2018.01A 处理为单信噪比单调制数据
yuuuuuuuk的博客
03-21 2111
DeepSig RadioML 2018.01A 处理为单信噪比单调制数据，及数据集分析
radioml2018数据集_[R - ml] 决策树
weixin_32652107的博客
01-17 933
install.packages(c('rpart', 'partykit', 'rpart.plot'))require(rpart)require(rpart.plot)require(partykit)require(caret)set.seed(2014)inTrain = createDataPartition(y = iris$Species, p = 0.8, list = FALS...
[数据集勘误]RadioML2018.01数据集中classes排列问题
weixin_43663595的博客
01-13 4729
RadioML2018.01数据集中classes排列问题 最近在做关于射频机器学习相关的内容，用到了DeepSig公司的开源数据集RadioML2018.01数据集，该数据集构成如下： 但是在使用GNURadio时发现了一些问题，输出的频谱图和实际的调制类型并不相符，于是查询了Timothy James O’Shea同年发表的论文Over-the-Air Deep Learning Based Radio Signal Classification 发现在论文末尾有关于调制内容的图片展示 于是我也将数
【频谱感知】生成数据集，使用DeepSig RadioML 2018.01A
yuuuuuuuk的博客
11-29 2384
很久之前做的这部分工作了，应该是去年把调制识别、频谱感知、频谱知识图谱等都做了一遍，现在主要工作是频谱异常检测和异常信号定位，看有人要代码就整理了一下。记得下面代码是改编github上面的，github那个代码是rml2016数据集的且有问题，时间太长找不到原地址了。再除了图中前三个标注的功率范围，其他调制信号功率都是1000左右（1024个点，接近1024）排除17,18调制方式是因为对此种调制方式不太了解，变化太诡异，功率从一千涨到十万，反推出noise_pow，利用noise_pow生成复高斯噪声。
dataset:开放的RadioML综合基准数据集
05-10
dataset:开放的RadioML综合基准数据集
radioml2018数据集_近期知识图谱顶会论文推荐，你都读过哪几篇？
weixin_39956443的博客
01-17 499
论文动机传统的规则挖掘算法因计算量过大等原因无法应用在大规模 KG 上。为了解决这个问题，本文提出了一种新的规则挖掘模型 RLvLR (Rule Learning via Learning Representation)，通过利用表示学习的 embedding 和一种新的子图采样方法来解决之前工作不能在大规模 KG 上 scalable 的问题。论文亮点本文亮点主要包括：1. 采样只与对应规则相关...
机器学习：RadioML（1）
sumingrui的博客
11-18 2655
RadioML
使用CNN/ResNet实现自动调制识别(RML2018.01a)
热门推荐
QAQIknow的博客
04-29 1万+
本文基于RML2018.01a大型数据集，给出CNN及其变体ResNet的信号识别的实现方式（附代码） 目录一、CNN的代码实现1.1 导入包1.2 数据读取及数据集划分1.3 构建CNN模型1.4 模型训练1.5 测试及模型可视化二、ResNet的代码实现 RML2018.01a数据集信息如下： 数据集来源 Over-the-Air Deep Learning Based Radio Signal Classification 调制类型 19种数字调制方式: 32PSK, 16APSK,
机器学习：RadioML（4）_调制方式
sumingrui的博客
12-12 2324
什么是调制： 用基带信号去改变高频信号某个参量的过程，这样而来发射的已调高频信号就带有基带信号的信息。高频信号为运载信息的工具，因此称之为载波，相应频率为载频。 为什么要调制： 1、高频已调信号易于辐射。 为了使电磁能量有效辐射，需要发射天线尺寸至少为发射信号波长的1/10，而基带信号频率低波长大，如果直接发射，所需天线过长
RadioML2016数据集生成（Ubuntu 18.04.5）
qq_45103492的博客
09-07 5231
1.前言 对于刚接触软件无线电的小白来说GNU Radio环境的搭建是让人头疼的事情。作者因为任务要求要生成数据集、搭建GNU Radio的环境并配置生成数据集所需的库函数。下面是作者熬了5天探索出的GNU Radio构建和数据集库安装方法。 原大佬是利用数据集做调制识别，程序资料可以参考 RadioML/example 2.环境搭建 2.1 提前准备 这里需要大家自己提前准备构建GNU Radio的环境，包括 1）安装虚拟机VMware Workstation Pro 2）使用虚拟机安装Ubuntu18.
【数据集】RadioML2016.10a（RML2016.10a）
最新发布
Glass_Gun的博客
09-04 2836
RML2016.10a数据集是一个用于无线电信号调制识别的数据集，它包含了多种数字和模拟调制方式的信号样本。这些样本是通过软件定义无线电（SDR）技术生成的，使用了GNURadio和Python编程语言。该数据集共有220000条样本，每个样本的size为(2, 128)，即I/Q两路数据，每个样本的长度为128。信噪比为-20dB~18dB，间隔为2dB，即20种不同的信噪比环境。共有11种不同的调制方式。
RadioML 2016.10a 调制方式识别-IQ分量
a_student_2020的博客
06-20 1556
RadioML 2016.10a 调制方式识别-IQ分量
机器学习：RadioML（6）_ 配置过程
sumingrui的博客
12-18 1139
需要配置的软件：(按顺序) 1.git clone dataset 2.git example 3.scipy，numpy数值计算工具 matplotlib,ipython, ipython notebook 4.git gnuradio 安装swigsudo apt-get install swig  安装Doxygensudo ap
RadioML2016.10.a数据加载和介绍
a_student_2020的博客
06-18 2263
对于 RadioML 2016.10.a 数据，进行数据加载和可视化操作
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值