我也要用- 博客(95)
- 资源 (9)
- 论坛 (3)
- 收藏
- 关注
RSS订阅原创 彻底分清机器学习中的上采样、下采样、过采样、欠采样【总结】
今天看了篇中文的硕士论文，完全把下采样和欠采样搞混了，哎，有些论文确实存在概念不清的情况，这里笔者就详细区分一下各个名称的概念。文章目录1. 上采样&下采样2.过采样&欠采样3.信号领域1. 上采样&下采样对于CV领域来说，可以理解为放大图片和缩小图片，将原始图片放大就是上采样，将多个像素点合成一个从而缩小图片就是下采样，所以池化操作就可以理解为一种下采样。如果想进一步了解图像领域的上采样和下采样，可以参照：图像的上采样（upsampling）与下采样（subsampl.
2020-12-28 17:47:37
162
原创 一文搞懂Hive与数据库（Derby、MySQL）之间的关系
对于Hive的初学者，是否对hive、数据库，hdfs，yarn之间的关系有点搞不懂？这里将详解分析其中的关系。文章目录1.Hive整体架构介绍2.Derby&MySQL3.Hive工作流程1.Hive整体架构介绍Hive可以看做是MapReduce的客户端因为Hive的底层运算是MapReduce计算框架，Hive只是将可读性强，容易编程的SQL语句通过Hive软件转换成MR程序在集群上执行。hive可以看做mapreduce客户端，能用mapreduce程序完成的任务基本都可以对应的.
2020-12-27 15:38:33
244
原创 hadoop、zookeeper、mysql等pid文件权限不对无法启动问题
在学习大数据的阶段，难免会遇到没有一步步关闭hdfs、yarn之类就直接关电脑的情况，下次来的时候就会发现，咦，怎么打不开了，一看报错是xxx.pid拒绝访问什么的，这时候就是pid的问题，这里对PID文件的问题做一个汇总。1.概述我们再用jps指令查询当前服务器中的java进程时，在出现进程名称的同时也会有一个id编号，如下图所示：前面的编号就是这个进程的pid编号。2.pid编号存储位置无论是hadoop还是zookeeper，都会建立一个后缀名为pid的文件用于存储各个进程的id编号，.
2020-12-23 16:56:52
131
原创 Linux中MySQL报错：xxx Permission denied ， MySQL is not running, but PID file exists
笔者当然也看了很多别的博客的解决办法，亲测不符合我这个问题，下图为笔者问题的报错，请大家注意，前面xxxx的pid文件：拒绝访问，笔者意识到可能是权限问题，没错，果然是权限问题笔者无论关闭开启都不行，其实就是应为在安装的时候使用了root权限，所以有些问题需要root才能访问，切换到root权限就好了，一切正常...
2020-12-23 09:19:08
26
原创 Win10、Linux中域名映射配置
我们在局域网通信，集群通信的时候，一般都会通过主机名直接访问，这其实就是通过主机名和IP地址的映射实现的。1、win101、找到windows下的hosts文件，windows10在C:\Windows\System32\drivers\etc目录下；2、通过管理员权限打开hosts文件，因为保存的时候需要管理员权限才能保存；3、在hosts文件后面添加访问地址与域名的映射，如下图所示，也可是网址，如127.0.0.1 luckboy.com ，如果项目已经部署到远程服务器，可以把127.0.0.
2020-12-22 16:15:29
586
原创 Linux（CentOS ）更改yum下载镜像——提高下载速度
1、备份系统自带yum源配置文件/etc/yum.repos.d/CentOS-Base.repomv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2、查看CentOS系统版本lsb_release -a3、下载新的 CentOS-Base.repo 到 /etc/yum.repos.d/根据刚才查看的系统版本，更改镜像CentOS 6wget -O /etc/yum.repos.d/C
2020-12-21 22:29:52
127
原创 SecureCRT连接服务器Hive命令输入后无法删除问题
问题：通过SecureCRT工具连上linux后，通过beeline连接上hive后，在输错hive语句时，无论 Backspace还是delete 都删除不掉错误的语句，没有办法退格。解决办法如下：1.英文版第一步：SecureCRT菜单选项栏中"options"---->“Session Options…”,点击打开：第二步：在“Session Options…”中，修改找到“Terminal”---->“Emulation”，修改 Terminal 为 Linux注：Termi
2020-12-21 19:33:48
30
原创 Linux中组管理和权限管理的实用指令
上一博客中，介绍了用户和组的概念，并介绍了常用实用指令，参考：图解Linux中用户管理的基本概念与实用操作，这篇博客将进一步介绍文件的操作权限。文章目录1.查看文件所有者1.1 查看文件详细信息1.2显示内容详解1.3rwx 权限详解2.修改文件所有者3.修改文件所在的组4. 修改权限-chmod1.查看文件所有者1.1 查看文件详细信息一般为文件的创建者,谁创建了该文件，就自然的成为该文件的所有者。查看语法：ls – ahl1.2显示内容详解1.3rwx 权限详解2.修改文.
2020-11-28 09:49:42
131
原创 图解Linux中用户管理的基本概念与实用操作
本文将图解Linux系统中用户及组的概念，介绍组和用户的创建、删除等基本实用操作。文章目录1.基本概念2. 用户的基本操作2.1 添加用户并设置密码2.2 指定/修改密码2.3 删除用户2.4 查询用户信息指令2.5 切换用户3.用户组3.1 新增组3.2 删除组3.3 修改用户的组4. 查看用户和组的相关文件4.1/etc/passwd 文件（用户配置文件）4.2 /etc/shadow 文件（口令配置文件）4.3 /etc/group 文件（组配置文件）1.基本概念在实际的项目中，由于要涉及.
2020-11-27 17:51:03
132
原创 JAVA（IDEA）中的实用快捷键及操作
之前学的时候学了一些快捷键，但随着接触越来越多，发现了很多实用的新操作，这个文档用于总结并记录接触的一些实用快捷键和操作，并将实时更新文章目录1.快捷键2.实用操作1.快捷键运行：Ctrl + shift + F10格式化代码：Ctrl+Alt+LAlt + Enter 引入类Alt + Insert set/get; 构造方法; toString; 重写方法。。。Ctrl+Alt+T 将代码包在一个块中，例如try/catch ;synchronized等Ctrl + .
2020-11-19 12:19:27
153
原创 轻松搞懂Linux中程序、进程、服务的区别及操作命令
看似都能分的清清楚楚，但说起来却有点模糊，这篇文章将轻松搞懂Linux中程序、命令、进程、服务的区别
2020-11-19 10:31:46
526
原创 Java中的IO流VS单片机的IO口
作为从本科学单片机出身笔者，对IO口独有情钟，这里对java中的IO流和单片机的IO口整体对比一下文章目录1.java中的IO流1.1 概述1.2流1.3java 中的IO流框架1.4 字节/符流区别：2.单片机中的IO口1.java中的IO流1.1 概述I:input，内存从硬盘中读取数据O：output，内存将数据写入硬盘中Java的IO包主要关注的是从原始数据源的读取以及输出原始数据到目标媒介。以下是最典型的数据源和目标媒介：文件管道网络连接内存缓存System.in,.
2020-10-24 15:07:48
28
原创 轻松搞懂java中数组与List之间的转换
笔者最近在从Python转java，似乎list和set之间的转化没有Python那么轻松，所以就来总结一下java中的转换1.数组->List方法一：Arrays.asList() String[] strings = {"a","b","c","d","e"}; List<String> list = Arrays.asList(strings); list.set(0,"ddd"); System.out.println(l.
2020-10-13 17:32:00
134
原创 TensorFlow2.0入门到进阶3.5 —— 自定义损失函数（含完整神经网络房价预测代码）
在之前的实际应用中，一般直接使用了其内置的损失函数，但是有些时候我们需要根据我们的实际需求自定义损失函数，这一节将详细讲解文章目录1. 自定义损失函数详解2.完整代码实践2.1 加载所需包2.2 加载房屋价格预测数据集2.3 查看数据集信息2.4 划分训练集、测试集和验证集2.5 数据标准化2.6 创建模型（包括自定义损失函数）2.7 训练模型2.8 查看结果1. 自定义损失函数详解先上代码：def customized_mse(y_true,y_test): return tf.red.
2020-08-07 21:24:28
197
原创 TensorFlow中的tf.reduce_xxx
笔者今天学习自定义损失函数的时候，遇到了tf.reduce_mean,然后去tensorflow的官方手册中查了一下，发现在tf.math下面，其实不止有tf.reduce_mean，还有一系列tf.reduce_xxx文章目录1. tf.reduce_xxx简介2.tf.reduce_mean详解3. 用途1. tf.reduce_xxx简介以tf.reduce_mean 为例，该函数用于计算张量tensor沿着指定的数轴（tensor的某一维度）上的的平均值，主要用作降维或者计算tensor（.
2020-08-07 20:47:11
69
原创 TensorFlow2.0入门到进阶3.4 ——稀疏张量tf.SparseTensor与变量tf.Variable
文章目录1.稀疏张量tf.SparseTensor1.1 定义1.2 创建1.3 运算1.4 转换为密集矩阵2. 变量tf.Variable2.1 创建2.2 重新复制1.稀疏张量tf.SparseTensor1.1 定义是否还记得上一级中：基础数据类型API之strings与ragged_tensor中的ragged_tensor其实就是允许含有0元素的张量，但是，这种变量所有0都在非零数字的后面，那如果很多0穿插在张量中间怎么办？为此，引入了稀疏张量tf.SparseTensor（何为稀疏，就是很
2020-07-29 22:17:25
332
原创 TensorFlow2.0入门到进阶3.3 —— 基础数据类型API之strings与ragged_tensor
文章目录1、strings1.1 strings是什么？1.2 tf.strings 的优点是什么？1、strings1.1 strings是什么？看到strings，这个不是字符串吗？没错，它在这里的作用就是字符串，那tensorflow为什么还要单独拿出来呢，Python已经有字符串了呀！其实，加入tf.strings的其中一个重要的作用是可以使字符串成为TensorFlow的第一公民，可以直接加入到模型的输入中，这对NLP领域是很有用的1.2 tf.strings 的优点是什么？之前在NL
2020-07-28 21:44:27
87
原创 anaconda（Spyder）中的的新增代码自动补全接口——Kite
之前我的anaconda（Sypder）一直没有更新，至少一年了吧，更新窗口一直弹出但也没管，今天闲来无事也赶上我心情好，更新一下，咦，新版体验还不错的吗，默认界面变成了暗黑系列，还引入一个自动补全的接口Kite，下面具体介绍介绍文章目录1. 更新Spyder2. 新版Spyder页面3. Kite1. 更新Spyder这里更新其实可以直接用命令行更新，在cmd中输入如下命令行：conda install spyder=4.1.3由于本次更新的最新版是4.1.3，所以这里是4.1.3具体方.
2020-07-15 09:42:44
2322
1
原创 将png、jpg图片转为eps格式
由于要写论文，如Elsevier中对图片的要求如下：只能是eps或jpg，对于jpg的要求也太多了吧，所以干脆全部搞成eps得了，但是如何操作呢，下面就详细介绍。首先说一个错误做法：有的小伙伴直接将图片后缀改了，这个是不对的，虽然你可以打开，但是LaTeX不能识别对于要将图片格式转为eps的，基本都是在LaTeX中写论文需要的，所以这里默认你已经安装了LaTeX环境，这种方法就是利用latex已经提供的工具 bmeps，不需要你额外下载或安装任何软件。具体步骤如下：1、通过打开cmd（在电脑下方.
2020-07-09 10:45:14
349
3
原创 矩阵运算中一个圆圈里面一个乘号是什么运算？—— 克罗内克积
看论文里是否看到过这个符号：⨂是否意为是之前学的异或，不过发现是矩阵之间的运算，那这是什么呢？找了好久，才发现，是克罗内克积1、定义数学上，克罗内克积是两个任意大小的矩阵间的运算。克罗内克积是张量积的特殊形式，以德国数学家利奥波德·克罗内克命名。2、举例...
2020-06-16 11:40:50
3334
1
原创 用三维图像带你深入了解机器学习的f1
对于机器学习的评价指标，你还记得多少？准确率，精确率，召回率？那你还记得f1吗？是不是有点陌生了？1、基础指标首先定义以下几个概念：TP（True Positive）：预测答案正确FP（False Positive）：错将其他类预测为本类FN（False Negative）：本类标签预测为其他类标签TN（True Negative）：其他类标签预测为本类标签准确率Accuracy定义：(TP+TN)/(TP+FN+FP+TN)即所有分类正确的样本占全部样本的比例精确率P.
2020-05-25 20:38:57
187
原创
TensorFlow2.0入门到进阶3.2 —— 基础数据类型API之常量（constant）
原力计划
文章目录1、张量2、常量（constant）3、实践代码3.1创建常量3.2 常量基本计算3.3 和numpy之间的转换3.4 0维度1、张量有没有小伙伴和我一样，TensorFlow中tensor是什么意思？张量，那张量又是什么意思？TensorFlow用张量这种数据结构来表示所有的数据.你可以把一个张量想象成一个n维的数组或列表.一个张量有一个静态类型和动态类型的维数.张量可以在图中的节点之间流通.张量的阶在TensorFlow系统中，张量的维数来被描述为阶.但是张量的阶和矩阵的阶并不是同一个
2020-05-22 23:05:07
227
原创
你还在用交叉验证吗？ 大神都开始用对抗验证（Adversarial validation）了
原力计划
你还在用交叉验证吗？之前我是这么想的，交叉验证可以保证训练集和测试集都是随机选举，但是是否考虑过这样划分的数据集有可能特征分布不均匀？这样怎么能训练出高效的模型呢？今天忽然发现了对抗验证，分享一下：文章目录1、传统方法1.1 直接划分1.2 LOOCV1.3 k折交叉验证2 对抗验证2.1 样本分布不均匀2.2 何时样本分布均匀？2.3 什么是对抗验证（Adversarial Validation）？2.4 步骤2.5 实战1、传统方法在机器学习里，通常来说我们不能将全部用于数据训练模型，否则我.
2020-05-19 23:08:10
682
原创
一文读懂Python的datetime—— 从此轻松处理日期时间
原力计划
文章目录1、简述2、datetime2.1 当前时间2.2 获取指定日期和时间2.3 UTC时间2.4 时间戳2.5 获取单独天等信息实例方法2.5.1 可以单独获取日期或时间2.5.2 获取年份、月份等属性2.6 更改某一属性值3、timedelta实现日期时间的加减4、字符串与时间之间转换4.1 str转换为datetime：strptime4.2 datetime转换为str：strftime5、其他1、简述datetime是Python处理日期和时间的标准库。最近在搞时间字符串，很是头疼，搜了
2020-05-19 11:49:56
750
原创
科研小白带你了解预印本的那些事
原力计划
文章目录1、简介2、各出版社对预印本的态度3、各主流预印本网站3.1 arXiv3.2 BioRxiv3.3 F10003.4 FigShare3.5 Peerage of Science3.6 PeerJ Preprints3.7 Zenodo3.8 中国科技论文在线3.9 中科院Xiv4、查阅arXiv论文新神器1、简介Preprint（预印本），指尚未投稿、或已投稿但尚未在正式出版物发表，但为及时跟同行交流而自愿在预印本网站、个人博客、维基站点、或会议等发布的论文或报告。简单的说，预印本就是指论文
2020-05-12 22:50:25
1446
1
原创
轻松搞懂均匀分布、高斯分布、瑞利分布、莱斯分布（含MATLAB代码）
原力计划
文章目录1、均匀分布2、高斯分布（正态分布）3、瑞利分布4、莱斯分布1、均匀分布在概率论和统计学中，均匀分布也叫矩形分布，它是对称概率分布，在相同长度间隔的分布概率是等可能的。 均匀分布由两个参数a和b定义，它们是数轴上的最小值和最大值，通常缩写为U（a，b）。举个例子，掷骰子就是一个均匀分布，概率论中一个很常用分布。MATLAB代码%% 利用rand函数产生服从（a-b）均匀分布的随机序列。clear close alla=2; % (a-b)均匀分布下限b=3;
2020-05-11 15:46:25
6456
1
原创
MATLAB基于深度学习框架GoogLeNet的网络摄像机图像分类
原力计划
文章目录1、GoogLeNet2、开发环境及前期准备2.1 安装附加工具3、Deep Learning Toolbox 开发工具介绍4、代码实战1、GoogLeNet2014年，GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄，GoogLeNet获得了第一名、VGG获得了第二名，这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构（详见 大话CNN经典模型：VGGNet），而GoogLeNet则做了更加大胆的网络结构尝试，虽然深度
2020-05-09 19:23:57
597
原创
现在流行的DBC币(深脑链)是什么？
原力计划
文章目录1、DBC币(深脑链)是什么？2、基本属性百科3、开发背景4、深脑链项目介绍5、小结6、参考内容及扩展阅读1、DBC币(深脑链)是什么？深脑链想利用区块链技术为人工智能搭建一个计算网络，来促进人工智能产业发展。dbc币是深脑链项目代币的简称;深脑链是一套去中心化、低成本、隐私的人工智能计算平台，将基于NEO来发行深脑币，并将深脑币的发行算法运行在NEO的智能合约上。深脑链的人工智能计算节点可由多种形态组成，包含大型GPU或者FPGA服务器集群运行的全 功能节点(永久节点)、中小型企业闲散的空余
2020-05-09 17:46:18
551
3
原创 MATLAB强烈建议高效编程方式 —— 实时脚本 Live Script（.mlx文件）
文章目录1、简介2、用法介绍3、实时代码文件格式的好处1、简介在MATLAB中,实时脚本 Live Script是由MATLAB 实时编辑器提供的以一种全新方式创建、编辑和运行 MATLAB 代码。Live Script是一个包含代码、输出结果和格式化文本的程序文件,用户可在一个称为实时编辑器的交互环境中进行编辑。用过Python的jupyter notebook的都会很熟悉，这个就是有点像jupyter notebook，笔者作为一个好久没用MATLAB但是熟悉jupyter notebook的程
2020-05-09 14:57:32
2396
原创 零中频（ZIF）与 直接变频接收机（DCR）
1、零中频（ZIF）传统的调制解调方式是无线电信号RF（射频）进入天线，转换为IF （中频),再转换为基带（I，Q信号）。而零中频就是信号直接由RF变到基带，不经过中频的调制解调方法。零中频(Zero IF)接收检测原理如图 1 所示, 正交混频器提供两路具有同样带宽的正交信号, 它们包含输入 RF 信号的所有信息, 但并不表示已解调的信号 .由于接收本振与发送载频并不匹配, 其频率和相位必然...
2020-05-07 00:21:58
709
3
原创
华为云 —— 购买与登录弹性云服务器ECS
原力计划
首先，推荐一个不错的视频课：弹性云服务器ECS：轻松上云第一步本内容根据此视频课总结文章目录1、弹性云服务器ECS2、弹性体现在哪里？2.1云服务器资源调用的弹性2.2云服务器计费方式的弹性2.3云服务器业务管理的弹性3、购买3.1快速购买3.2 自定义购买4、登陆1、弹性云服务器ECS弹性云服务器Elastic Cloud Server 是一种随时自动获取，可弹性伸缩的云服务器。特性：...
2020-05-06 18:27:50
540
1
原创
数字通信的调制方式 ASK FSK PSK QAM
原力计划
文章目录0、前言1、ASK2、PSK3、FSK4、QAM5、PAM0、前言传输模拟信号时一样，传输数字信号时也有三种基本的调制方式：幅移键控(ASK)、频移键控(FSK)和相移键控(PSK)。它们分别对应于用载波（正弦波）的幅度、频率和相位来传递数字基带信号，可以看成是模拟线性调制和角度调制的特殊情况。理论上，数字调制与模拟调制在本质上没有什么不同，它们都是属正弦波调制。但是，数字调制是调制...
2020-05-06 15:31:39
5669
原创 TensorFlow2.0入门到进阶2.17 —— 超参数搜索sklearn封装keras模型及超参数搜索
文章目录1、理论原理2、sklearn封装keras模型3、sklearn超参数搜索4、结果显示1、理论原理超参数搜索：https://blog.csdn.net/caoyuan666/article/details/1059338362、sklearn封装keras模型1、转化为sklearn的model2、定义参数集合3、搜索参数def build_model(hidden...
2020-05-05 18:13:24
545
10
原创 TensorFlow2.0入门到进阶2.16 —— 手动实现超参数搜索
文章目录1、理论原理2、代码1、理论原理超参数搜索：https://blog.csdn.net/caoyuan666/article/details/1059338362、代码这里手动实现网格搜索，其实就是提前设立几个参数，通过for函数来实现。#learning_rate[1e-4,3e-4,1e-3,3e-3,1e-2,3e-2]#w = w + grad * learning_...
2020-05-05 16:19:47
147
原创
TensorFlow2.0入门到进阶2.15 —— 超参数搜索
原力计划
文章目录1、超参数2、为什么要超参数搜索3、搜索策略3.1 网格搜索3.2 随机搜索3.3 遗传算法搜索3.4 启发式搜索1、超参数超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，在机器学习过程中需要对超参数进行优化，给学习器选择一组最优超参数，以提高学习的性能和效果。比如，树的数量或树的深度，学习率（多种模式）以及k均值聚类中的簇数等都是超参数。与超参数区...
2020-05-05 16:13:26
348
原创 TensorFlow2.0入门到进阶2.14 —— wide&deep模型多输入多输出
文章目录1、wide&deep理论及前期博客2、多输入3、多输出1、wide&deep理论及前期博客wide&deep模型：https://blog.csdn.net/caoyuan666/article/details/105869670函数API实现wide&deep模型子类API实现wide&deep模型2、多输入本实验使用数据为房价预测的...
2020-05-05 15:24:53
587
原创 TensorFlow2.0入门到进阶2.13 —— 子类API实现wide&deep模型
文章目录1、wide&deep原理2、代码1、wide&deep原理wide&deep模型：https://blog.csdn.net/caoyuan666/article/details/1058696702、代码官方手册：https://tensorflow.google.cn/api_docs/python/tf/keras/Modelkeras.mode...
2020-05-05 11:46:05
310
原创 TensorFlow2.0入门到进阶2.12 ——函数API实现wide&deep模型
文章目录1、wide&deep原理2、代码1、wide&deep原理wide&deep模型：https://blog.csdn.net/caoyuan666/article/details/1058696702、代码函数式API 在创建模型时就像调用函数一样,将上一层结果像函数变量一样输入的下一层的函数中：#复合函数：f(x)=h(g(x))input = k...
2020-05-05 10:39:48
406
原创 浏览器端机器学习 —— TensorFlow.js
文章目录1、简介2、官方手册3、优点4、程序示例5、个人理解1、简介TensorFlow.js 是一个 JavaScript 库，用于在浏览器和 Node.js 训练和部署机器学习模型。TensorFlow.js 可以为你提供高性能的、易于使用的机器学习构建模块，允许你在浏览器上训练模型，或以推断模式运行预训练的模型。TensorFlow.js 不仅可以提供低级的机器学习构建模块，还可以提供...
2020-05-05 10:08:58
137
基于STM32单片机的电子秤程序.rar
2020-02-26
基于51/52单片机温度烟雾报警c语言代码+protus仿真
2020-02-26
基于51单片机光照强度检测（c代码+proteus仿真）
2020-05-12
基于32单片机心电图检测显示(c代码)
2020-05-12
基于51单片机水量检测（c代码+proteus仿真）
2020-05-12
基于51单片机自动售货亭（c代码+proteus）
2020-05-12
基于51/52单片机的电子锁（c代码+proteus）.rar
2020-05-12
基于51单片机篮球比赛时间倒计时（c代码+proteus）
2020-05-12
基于51/52单片机c语言4路温度采集系统代码+protus仿真
2020-02-26
tensorflow回调函数tensorboard网页打开后无内容
发表于 2020-03-12 最后回复 2020-03-12
python安装pbpbc库未成功，求大神指点
发表于 2019-10-12 最后回复 2020-01-06
lightgbm提高召回率
发表于 2019-10-29 最后回复 2019-10-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝