DataLoader [NSN-AC]

 

#!/bin/bash

 

NEType=$1

NEIns=$2

mrfTemplate=$3

startdate=$4

duration=$5

dimension=$6

rowsPerday=$7

hourCn=$8

randomFlag=$9

 

pipeDir=/var/opt/nokia/oss/osscore/iscirp/pmupld_osscore

WORK_DIR=`dirname $0`

WORK_DIR=`cd $WORK_DIR && pwd`

startTime=`date '+%Y-%m-%d_%H:%M:%S'`

logBatchNo=`date '+%m%d-%H%M%S'`

 

mrfTemplate=$WORK_DIR"/"$mrfTemplate

RESULT_DIR=`cd $WORK_DIR && cd ..&& pwd`

RESULT_DIR=$RESULT_DIR"/mrf_dir/"$1-$2"_"$logBatchNo

log_file=$WORK_DIR"/mrf_dir/"$1-$2"_"$logBatchNo.log

 

test ! -d $RESULT_DIR && mkdir -p $RESULT_DIR

 

echo "************** DATA LOADER RUNTIME LOG **************" > $log_file

echo "Original command: $0 $1 $2 $3 $4 $5 $6 $7 $8 $9

Begin at $startTime

 

Parameter list:

NE type      = $NEType

NE instance  = $NEIns

mrf Template = $mrfTemplate

Start Date   = $startdate

Duration     = $duration

Dimension Th = $dimension

Rows per day = $rowsPerday

Distinct hour= $hourCn

randomFlag   = $randomFlag

" |tee -a $log_file

 

gid=`sqlplus -S omc/omc <<EOF

set head off

select lower(trim(to_char(uco.co_gid,'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX'))) hex_str

from uma.utp_common_objects uco

where uco.co_dn like '%$NEType-$NEIns%'; 

EOF

`

echo "GID="$gid |tee -a $log_file 

 

$WORK_DIR/ETLOMeSGenmx.pl -NEtype $NEType -NEIns $NEIns -NEGid $gid -tem $mrfTemplate -date $startdate -dur $duration -dim $dimension  -rows $rowsPerday -hourCount $hourCn -outputDir $RESULT_DIR -maxLines 5000 -random $randomFlag |tee -a $log_file 

 

x=$?

if [ $x = 1 ]; then

  echo "Exception happened when parse xml file (ETLOMeSGenmx.pl). Abort!"|tee -a $log_file

  exit 1

fi;

 

 

echo "

xml file generation complete! Copy them to PM pipe dir...

" |tee -a $log_file

 

test -d $pipeDir

x=$?

if [ $x = 1 ]; then

  echo "PM pipe dir  $pipeDir not exist! Abort! "|tee -a $log_file

  exit 1

fi

 

cp $RESULT_DIR/*.xml $pipeDir

 

 

echo "************** Data loader complete **************" |tee -a $log_file

 

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,以下是代码实现: ```python import torch import torchvision import torchvision.transforms as transforms from torch.utils.data import DataLoader, Dataset import os # 定义自定义的MINST数据集 class CustomMNISTDataset(Dataset): def __init__(self, train=True, transform=None): self.train = train self.transform = transform if self.train: self.data, self.labels = torch.utils.data.Subset(torchvision.datasets.MNIST(root='./data', train=True, download=True, transform=transforms.ToTensor()), list(range(0, 50000))) else: self.data, self.labels = torch.utils.data.Subset(torchvision.datasets.MNIST(root='./data', train=True, download=True, transform=transforms.ToTensor()), list(range(50000, 60000))) def __getitem__(self, index): img, target = self.data[index], self.labels[index] if self.transform is not None: img = self.transform(img) return img, target def __len__(self): return len(self.data) # 定义数据预处理方式 transform = transforms.Compose([ transforms.Normalize((0.1307,), (0.3081,)) ]) # 加载训练集和测试集 train_dataset = CustomMNISTDataset(train=True, transform=transform) train_loader = DataLoader(train_dataset, batch_size=128, shuffle=True) test_dataset = CustomMNISTDataset(train=False, transform=transform) test_loader = DataLoader(test_dataset, batch_size=128, shuffle=False) ``` 注意:这段代码在第一次运行时会直接下载MINST数据集,存放至./data文件夹下。如果之后再次运行需要手动删除./data文件夹下的所有文件。同时,为了减小训练集大小,代码中只使用前50000个样本作为训练集,后10000个样本作为测试集。如果需要使用完整的训练集,可以将`self.data, self.labels`的赋值语句改为`torchvision.datasets.MNIST(root='./data', train=self.train, download=True, transform=transforms.ToTensor())`。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值