- 博客(21)
- 收藏
- 关注
RSS订阅原创 神经网络权重衰退
目的通过正则化的方式，防止过拟合。我们总是可以通过去收集更多的训练数据来缓解过拟合。 但这可能成本很高，耗时颇多，或者完全超出我们的控制，因而在短期内不可能做到。 假设我们已经拥有尽可能多的高质量数据，我们便可以将重点放在正则化技术上。权重衰减（weight decay）是最广泛使用的正则化的技术之一， 它通常也被称为𝐿2L2_正则化_使用均方范数作为硬性限制通过限制参数值的选择范围来控制模型容量minl(w,b) subject to 
2022-03-07 10:55:33
822
原创 使用PyTorch实现线性回归算法
使用torch已有的框架进行搭建importimport numpy as npimport torchfrom torch.utils import data人造数据使用线性模型参数 w = [2, -3.4]T、b = 4.2和噪声项noise生成数据集及其表现：y = Wx + b + noisedef synthetic_data(w, b, num_examples): """生成 y = wx + b + noise""" X = torch.norma
2021-12-22 08:37:42
337
原创 线性回归的从零搭建
import%matplotlib inlineimport torchimport randomfrom d2l import torch as d2l人造带有噪声的线性数据集使用线性模型参数 w = [2, -3.4]T、b = 4.2和噪声项noise生成数据集及其表现：y = Wx + b + noisedef synthetic_data(w, b, num_examples): """生成 y = wx + b + noise""" X = torch..
2021-12-20 08:45:53
191
原创 使用PyTorch实现自动求导
准备工作import torchx = torch.arange(4.0)# 在计算y关于x的梯度前，需要一个地方来储存梯度x.requires_grad_(True)也可以直接在创建tensor的时候直接定义requires_gradtorch.arange(4.0, requires_grad=True)例子 1：y = 2 * dot(x, x)构造一个函数y = 2 * dot(x, x)y = 2 * torch.dot(x,x)y结果：tensor(.
2021-12-12 22:18:16
1061
原创 使用pytorch操作矩阵
1. 矩阵转置A = torch.arange(20, dtype=torch.float32).reshape(5,4)A, A.Ttensor([[ 0., 1., 2., 3.],[ 4., 5., 6., 7.],[ 8., 9., 10., 11.],[12., 13., 14., 15.],[16., 17., 18., 19.]]),tensor([[ 0., 4., 8., 12., 16.],[ 1., 5., 9., 13., 17.],[
2021-12-12 09:27:16
4514
原创 数据预处理
准备一个csv文件import osimport pandas as pd## 创建文件夹及文件os.makedirs(os.path.join('..','data'), exist_ok=True)data_file = os.path.join('..','data','house_demo.csv')## 写入数据with open(data_file, 'w') as f: f.write('NumRooms,Alley,Price\n') f.write('.
2021-12-11 21:54:38
641
原创 Torch对数组的基本运算和操作
0. 前提import torch## 使用阿里镜像安装torch# pip install -i https://mirrors.aliyun.com/pypi/simple/ torch1. 创建数组按顺序创建张量(tensor)x = torch.arange(12)结果：tensor([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11])自定义创建tensortorch.tensor([[1,2,3,4],[1,2,5,7
2021-12-11 09:39:41
2888
原创 Linux 安装 Python、Miniconda、Jupyter Notebook及地址映射
服务器环境: Linux centos8.0本机：MacOSpython版本：python3.8Miniconda版本：Miniconda3 Linux 64-bitLinux新环境的话升级yum：sudo yum update一些编译器安装一下：sudo yum install build-essential安装python：sodu yum python38安装miniconda：网上搜索miniconda，然后找到linux 3.8版本，复制链接，wget https://rep
2021-12-11 09:07:50
1221
原创 常用的Dos/Cmd命令
盘符切换#现在在C盘，想要切换到E盘> E:查看文件> dir切换目录# cd: change directory# 在同一盘符下> cd 文件夹路径# 在不同盘符下> cd /d 盘符:文件夹路径注意：/：参数的斜杠\：路径的斜杠返回上一层> cd ..清屏# cls: clear screen> cls退出终端> exit查看电脑IP> ipconfigping命令.
2021-10-21 09:56:52
64
原创 windows打开CMD的几种方式
打开CMD的方式开始 - 系统 - 命令指示符Win键 + R，打开运行后输入 cmd 打开控制台在任意的文件夹下面，按住 shift + 鼠标右键点击，在次数打开命令行窗口资源管理器的地址栏的路径前，加上 ‘cmd’ 即可...
2021-10-21 09:14:49
3529
原创 Oracle查询已知表名的字段是否是主键(user_table和all_table)
使用user_的表select a.constraint_name, a.column_name from user_cons_columns a, user_constraints bwhere a.constraint_name = b.constraint_name and a.constraint_type = 'P' and b.table_name = 'tablename'; 但是可能会存在表格为空所以使用下列all_table使用all_的表select a.cons
2021-10-09 09:39:47
1573
原创 python对postgresql库读取、写入、长连接、制定DDL
读取PG数据库方法一： 使用psycopg2import psycopg2import pandas as pd# database，user，password，host，port分别对应要连接的PostgreSQL数据库的数据库名、数据库用户名、用户密码、主机、端口信息，请根据具体情况自行修改conn = psycopg2.connect(database="db",user="usr", password="pw",host="ip",port="5432")cur = conn.curs
2021-09-29 13:56:54
1202
原创 python dataframe去重
主要的代码：df2_name = df1_name.drop_duplicates(subset=['username'], keep='first',inplace=False)常用的参数就这三个：subset根据哪个或者哪些字段进行去重[‘a’] 对a列进行去重[‘a’, ‘b’] 对 a与b的组合 进行去重keep {‘first’, ‘last’, False}数据保留的原则first : 保留第一个last : 保留最后一个False : 只要是重复的都不要i
2021-07-13 14:41:36
1128
原创 kettle的job间数据流通
transformation：Trans1在最后，要添加 Copy rows to result，这样在job中trans才会有数据流出Trans2设置parameter，在job中去承接数据Job:transformation1不做处理Transformation2：勾选execute every input row勾选 copy results to parameters勾选 pass parameter values to sub transform
2021-04-11 22:02:58
170
原创 TensorFlow多线程读取bin文件通用步骤
使用TensorFlow来读取一个文件夹中所有bin文件，并转换成3通道，固定大小的矩阵步骤：TensorFlow版本：1.15.0导入文件夹下所有文件名：import osdir_path = "./文件夹路径"filenames = os.listdir(dir_path)file_list = [os.path.join(dir_path, file) for file in filenames]根据文件名列表读取文件：import tensorflow as tffile
2020-09-22 23:01:28
415
原创 TensorFlow多线程读取图片通用步骤
使用TensorFlow来读取一个文件夹中所有图片，并转换成3通道，固定大小的矩阵步骤：TensorFlow版本：1.15.0导入文件夹下所有文件名：import osfilenames = os.listdir("./文件夹路径")file_list = [os.path.join('./文件夹路径', file) for file in filenames]根据文件名列表读取文件（图结构）：import tensorflow as tffile_queue = tf.train
2020-09-12 23:18:24
276
原创 Tensorflow去掉warning
如何去掉TensorFlow中烦人的warning和instruction to update:尝试过：import warningswarnings.filterwarnings(“ignore”)也尝试过：import osos.environ[“TF_CPP_MIN_LOG_LEVEL”] = ‘2’但是对我来说都不管用，于是查了各种资料，可以尝试一下代码去除warning：对于 TF 1.X版本import tensorflow as tftf.compat.v1.logging
2020-09-12 21:34:25
2170
4
原创 对数字化转型的理解
数字化的含义：说到数字化，我觉得大家直接想到的一定是把现实中的事物，全部都用数字来表示，比如：现实中的一个房间里面有一张桌子，一把椅子。那么到了数字化的世界就是：itemdimensioncolor桌子1m x 0.5m x 1.2m棕色椅子0.3m x 0.3m x 0.5m棕色这样的理解也对也不对。对的地方：数字化就是将物理世界完全重构建模到数字化世界，数据是物理世界在数字化世界的投影，是一切的基础。不对的地方：不管是从美国提出的《加速：能源充裕时代美
2020-06-27 23:10:50
2836
原创 数据仓库Data Vault模型详解
数据库，不管是以什么模型搭建的数据库，ER(entity-relationship Modelling)也好，DM(Dimensional Modelling)也好，或者数据块Cube也好，说白了其实就是无数的表格组成起来的，至于它们如何去进行划分和连接这些表格，这就是不同数据库模型的不同表现，最终体现在性能上的不同。1. 名词解释解释一个概念先从它的名字开始介绍Data Vault: 电子仓库/电子资料室/数据仓库。我看了国内很多文章和博客，都没有发现这个这个名词的来源，于是我去wiki找到了，D
2020-06-14 16:26:40
3842
原创 针对OLTP和OLAP的不同进行深入浅出地理解
公司在进行数据库的重建，技术总监问我为什么不直接镜像一个业务的数据库，这样查询和分析都直接从镜像的数据库进行就行，既不占用业务数据库资源，也免去了重建数据库的投入。答：数据库的功能侧重点不同：1） 对于业务数据库来说，通常用的是OLTP，是按照业务的逻辑进行考虑的，通过业务调查，逻辑分析的方式，将数据进行切分再建造数据库模型。这里的数据库主要考虑的是存储和写入功能，并不考虑分析OLTP讲解：（On-Line Transaction Processing）百度百科的翻译过来叫“联机事物处理过程”
2020-06-11 22:02:29
225
原创 数据科学家技能树（中文翻译版）
原版地址: link.插入链接与图片链接: link.图片: 带尺寸的图片: 居中的图片: 居中并且带尺寸的图片: 当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。路遥知马力，吾辈更应砥砺前行。...
2020-06-10 22:29:33
781
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人