AI的博客

我在做一个超大数据集的多分类，设备Ubuntu 22.04+i9 13900K+Nvidia 4090+64GB RAM，第一次的训练的训练集有700万张，训练成功。找了很久的原因，发现内存随着训练step的增加而线性增加，猜测是内存泄露，最后定位到了DataLoader的num_workers参数（只要num_workers=0就没有问题）。Python中的list转换成tensor时，会发生内存泄漏，要避免list的使用，可以通过使用np.array来代替list。3.正确的重写Dataset方法（）

１．卸载原有显卡驱动sudo apt-get purge nvidia*或者 sudo apt-get remove --purge nvidia*２．查看可用驱动:ubuntu-drivers devices(base) jack@JACK429:~$ ubuntu-drivers devices== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 ==modalias : pci:v000010DEd00002204sv00.

# import tensorflow as tf## sess = tf.compat.v1.Session(config=tf.compat.v1.ConfigProto(log_device_placement=True))# 如果为False, 检查tensorflow-gpu、cudatoolkit和cudnn版本是否对应一致# print(tf.test.is_gpu_available())from __future__ import print_function'''Ba.

Ubuntu找这个目录文件anaconda3/envs/yourEnv/lib/python3.7/site-packages/tensorflow_core/python/keras/utils/vis_utils.pyWindows找这个目录文件Anaconda\envs\yourEnv\Lib\site-packages\tensorflow\python\keras\utils\vis_utils.py问题出在vis_utils.py文件中下面这个函数上面def format_

# 浮点运行次数# FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。# FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。# In TF 2.x you have to use tf.compat.v1.RunMetadata instead of tf.RunMetada.

一、什么是梯度？答：▽ L就是梯度（如图），三角形符号倒过来（▽ ）是梯度算子（在空间各方向上的全微分）二、为什么要正则化？

# 使用conda创建虚拟环境conda create -n env_name python=3.7 cudatoolkit=10.0 cudnnpip install tensorflow-gpu==2.0.0pip install keras

import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom sklearn.preprocessing import StandardScalerfrom sklearn.model_selection import train_test_splitfrom sklearn.linear_model ...

　　1）正确率（accuracy）　　正确率是我们最常见的评价指标，accuracy = （TP+TN）/(P+N)，这个很容易理解，就是被分对的样本数除以所有的样本数，通常来说，正确率越高，分类器越好；　　2）错误率（error rate)　　错误率则与正确率相反，描述被分类器错分的比例，error rate = (FP+FN)/(P+N)，对某一个实例来说，分对与分错是互斥事...

1.离散点图代码：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltpath = 'LogiReg_data.txt'data = pd.read_csv(path, header=None, names=['Exam1', 'Exam2', 'Admitted'])# 正例positi...

import pandas as pdimport numpy as npimport mathpd.set_option('display.max_columns', None)# 导入泰坦尼克号的训练数据集；https://www.kaggle.com/shivamp629/traincsv/version/1data = pd.read_csv("train.csv")prin...

import matplotlib.pyplot as pltfrom numpy import arangeimport pandas as pdfandango_score_comparison = pd.read_csv("fandango_score_comparison.csv")print(fandango_score_comparison.shape)print(fand...

import matplotlib.pyplot as pltimport numpy as npimport pandas as pd# 生成一个母图fig，可以设置母图figsize大小# fig = plt.figure(figsize=(10, 3))fig = plt.figure()ax1 = fig.add_subplot(2, 2, 1)ax2 = fig.add_...

import pandas as pdimport matplotlib.pyplot as plt# https://github.com/mdengler/rsandbox/blob/master/data/FRED/UNRATE.csvunrate = pd.read_csv("UNRATE.csv")print(unrate.head(12))unrate["DATE"] =...

import pandas as pdfrom pandas import Seriesdata = pd.read_csv("fandango_score_comparison.csv")# 定位某一列series_film = data["FILM"]print(series_film[0:10])# 列类型为Seriesprint(type(series_film))# ...

import numpy as npimport pandas as pd# 从csv文件中读取数据grades_info = pd.read_csv('Grade.csv')# 打印pandas的类型：DataFrameprint(type(grades_info))# 打印数据类型print(grades_info.dtypes)# 打印数据的head,只显示前5条参数p...

import numpy# import numpy as np# 从txt中读取数据，delimiter表示每一行的分隔符score_info = numpy.genfromtxt('score.txt',delimiter='\t',dtype=str)print(score_info)# 查看指定函数的帮助文档print(help(numpy.genfromtxt))# ...