- 博客(44)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 计算机基础学习笔记
Computer-Basics-Notes-Linksgithub地址学习笔记我在学习计算机基础的过程中整理了一部分笔记，但都比较零散，有些稍微连贯的内容已经整理为博客，而大部分还没来得及整理成md格式，我先整理出链接。为了尽可能的清晰展示笔记脉络，下文将分门别类的列出，有需要请自取。笔记内容大部分都是参考了网上的博客以及书籍，整...
2019-12-16 13:47:07
368
原创 redis-持久化
Redis 持久化[toc]Redis 是基于内存的k-v服务，内存在断电时无法保存数据，因此需要做数据的备份操作。Redis 有两种备份方式：内存快照的持久化保存 RDB适合全量复制，容灾备份，每日周期性定时执行（间隔6小时） 压缩后的二进制文件，恢复速度快耗时长，无法做到实时备份记录修改操作日志的持久化保存 A...
2020-06-01 00:16:27
173
原创 redis学习-Jedis 使用
[toc] [toc]本系列文章整理摘抄自客户端怎么和 Redis 服务器连接？客户端和 Redis 服务器的通信是 建立在 TCP 连接的基础上的。并且 Redis 制定了 RESP 序列化协议，是一个简单地通信约定。Resp序列化协议*<参数数量>\r\n$<参数1的字节数量>\r\n<...
2020-05-16 00:17:58
213
原创 redis学习-缓存设计中要提前考虑的事情
[toc] [toc]本系列文章整理摘抄自缓存设计前需要权衡成本和收益收益加速读写降低后端负载成本数据不一致性缓存层和存储层数据势必会有不一致的时间，需要考虑如何避免对业务造成的影响。 代码维护成本redis 和 mysql 两方代码都要考虑。缓存如何更新？基于内存的缓存不可能将所有的数据都做缓存...
2020-05-16 00:16:33
269
原创 redis学习-常用API
[toc]本系列文章整理摘抄自全局命令1. 查看所有键 keys遍历所有的键，时间复杂度O(n), 线上禁止使用。1keys *2. 键总数 dbsize该指令直接获取Redis 内置的键总数变量， 时间复杂度 O(1)1dbsize3. 键是否存在 exist存在返回1， 不存在返回01exist key4. 删除键 ...
2020-05-16 00:15:05
183
原创 Bloom Filter 布隆过滤器
[toc] [toc]谷歌开源的Guava的布隆过滤器布隆过滤器是什么？布隆过滤器由很长的二进制向量和一系列随机映射函数组成。布隆过滤器可以用于检索一个元素是否在一个集合中。它能给出的答案是： ==一定不存在 /可能存在==布隆过滤器的应用场景？提升磁盘查询未命中的效率通过bloom filter 过滤掉一定不存在的数...
2020-05-16 00:12:25
131
原创 redis学习-redis的价值
[toc]本系列文章整理摘抄自Redis 是什么？Redis 是一种 基于键值对的 NOSQL 内存数据库, 具有丰富的数据类型和基于内存的快速读写能力,单线程命令处理机制。Redis 的值类型有多种：stringhashlistsetzset (有序集合)Bitmaps (位图)HyperLogLogGE...
2020-05-12 00:06:27
226
转载 Java 向上转型和向下转型
向上转型和向下转型向上转型： 父类引用 指向子类对象调用效果： 父类的属性 + 父类的方法（未被子类重写）+ 子类的方法 （重写了父类）向下转型：调用效果：子类的属性 + 子类的方法例子如下：package top.elgong.cast;/* Father.java */public class Father { /* 静态类变量 */...
2020-04-22 12:14:29
119
原创 Java 向上转型&向下转型
向上转型和向下转型向上转型： 父类引用 指向子类对象调用效果： 父类的属性 + 父类的方法（未被子类重写）+ 子类的方法 （重写了父类）向下转型：调用效果：子类的属性 + 子类的方法 例子如下：12345678910111213141516171819202122232425262728293031...
2020-04-22 11:53:28
126
转载 蓄水池采样算法
蓄水池采样算法一、预备知识二、从未知流中随机等可能抽取K个数采样的需求三、实现原理3.1 举例说明：从未知流中随机选择一个元素的实现方法3.2 解析：假设流的长度只有33.3 算法描述四、代码实现转载自我的博客一、预备知识Java 随机数生成的方法：java.util.Random/* Main.java */public class Main { public sta...
2020-04-21 09:46:22
223
原创 蓄水池抽样算法
一、预备知识Java 随机数生成的方法：java.util.Random123456789101112131415161718192021/* Main.java */public class Main { public static void main(String[] args) { // 指定随机种子，...
2020-04-19 17:18:21
213
原创 mysql-必知必会7-综合内容
一、关系型数据库Mysql数据库（Database）是按照数据结构来组织、存储和管理数据的仓库。数据库: 数据库是一些关联表的集合。.数据表: 表是数据的矩阵。在一个数据库中的表看起来像一个简单的电子表格。列: 一列(数据元素) 包含了相同的数据, 例如邮政编码的数据。行：一行（=元组，或记录）是一组相关的数据，例如一条用户...
2020-04-11 11:35:36
205
原创 mysql-必知必会2-数据操作语言DML
DML 数据操作语言插入 INSERT 更新 UPDATE删除 DELETE1. 插入规则： 插入值的类型要一致语法1： INSERT INTO 表名（列名） VALUES ( 值1...)语法2： INSERT INTO 表名 SET 列名1=值1...
2020-04-11 11:24:42
132
1
原创 mysql-必知必会1-数据定义语言DDL
数据库和表的创建，修改，删除创建 create修改 alter删除 drop123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051# ######## 数据库相关# 创建库CREATE ...
2020-04-11 11:15:23
95
1
原创 版本控制-git
1. git 的作用版本控制协同开发2. 文件的状态untracked (新建的文件)unmodified （提交后进入仓库的文件与当前文件相同，即没修过）modified (commit 之前)staged （commit 之后）3. 一般使用流程初始化仓库git init变更的文件加入暂存区gi...
2020-03-28 12:17:11
90
原创 Java集合-目录
Java 集合类都在java.util包中，提供了如可变长数组，集合，队列，堆栈，链表等数据结构。宏观上看整个结构可以分为两大部分： 属于单列集合Collection 接口和带映射的多列集合的Map接口。Collection 接口：集合的基本操作和属性List 接口：有序列表ArrayList： 可变长的数组。 Li...
2020-01-01 16:10:40
129
原创 决策树2-ID3算法
决策树-2 ID3算法决策树-1基本概念中已经提到了ID3算法，这篇博客再梳理一遍，算法描述部分搬运了统计学习方法的内容，更详细内容可以参考这本书。ID3 算法的思路输入：训练集 D, 特征集 A， 阈值 ε；分叉：最优属性划分依据是 最大信息增益； 结束条件：用完所有特征，特征信息增益很小，树的深度超过限制；返回：一颗...
2019-09-12 19:04:01
116
原创 决策树3-CART分类回归树
CART-分类回归树CART 算法的思路特征选择：最优属性划分依据是 基尼系数（分类）/平方误差（回归）； CART 树是二叉树结构。主要就两步骤：树的生成 树的剪枝分类树分类树与ID3, C4.5的流程一致。回归树回归树选择最佳划分属性和划分点时的依据是 平方误差。一张图即可理解。与分类树的主要区别...
2019-09-12 18:58:19
229
原创 pandas-8分层和多级索引
pandas -8 分层和多级索引Multi-level indexing. 在 “pandas -2 索引和选择数据” 一节中, 已经提到了如何选择行列元素, 而Series 和 Dataframe 是低维度的数据结构，对于更高维度的数据，可以通过分层和多级索引来实现。分层索引的创建创建分层索引的方式有很多, 这里直接摘抄自...
2019-08-13 10:54:12
214
原创 mysql-索引篇2-索引的底层实现
一、常用的索引底层结构有哪些？==索引是一种排序的，便于查找的数据结构。==下面是一些常见数据结构的概念，具体每种类型的详细特点，再去看别的文档吧。1. 二叉查找树： 左子树的键值小于根的键值，右子树的键值大于根的键值。2. AVL 树： 平衡二叉树（AVL 树）在符合二叉查找树的条件下，还满足任何...
2019-08-12 11:02:57
174
原创 mysql-索引篇1-索引的概念
一、索引的概念1.1 索引的作用1.2 索引的分类（还不清楚到底怎么归类）**查看有哪些索引： SHOW index;聚簇索引（主键索引) 每张表只能有一个，数据和索引在同一个文件 按照每张表的主键构造一颗B+树，同时叶子节点中存放的即为整张表的记录数据。辅助索引（二级索引）: 叶子节点并不包含行记...
2019-08-11 10:46:16
111
原创 pandas-6重复值处理
pandas -6 重复值处理如果你想找到或者删除 DataFrame中重复的行, 可以使用 duplicated 和 drop_duplicates查找重复值1234567891011121314151617181920212223242526272829example: col1 col2 c ...
2019-08-09 15:26:52
93
原创 pandas-5缺失值处理
pandas -5 缺失值处理统计数据中存在缺失值是十分常见的问题, 而对于缺失值的处理，是数据挖掘的一个重要环节。pandas 有一系列的方法处理缺失值。缺失值的类型判断方法只记住万能的 pd.isnull 即可。数值pd.isna pd.isnull np.isnan字符串pd.isna pd.is...
2019-08-09 09:33:30
88
原创 pandas-7时间&日期处理
pandas -7 时间&日期处理pandas 常出现的时间格式字符串类型 object一般是字符串类型，pandas 储存string时 使用 narray， 每一个object 是一个指针datetime 类型 datetime64timedelta 类型表示时间差的数据类型类型转换obje...
2019-08-06 08:42:00
128
原创 机器学习模型的偏差与方差
机器学习的方差与偏差方差与偏差，总是迷迷糊糊的，每次看了就会，过了就忘。今天看到一个非常棒的解释，迫不及待马上整理下来了。机器学习的目标函数机器学习模型学习的是数据集的条件概率分布，得到一个决策函数。整个学习过程围绕着最小化（或者最大化）目标函数进行优化参数，目标函数的通常形式的定义是：Obj = L(θ) + λΩ(θ)L(...
2019-08-01 16:43:19
483
原创 hexo错误 TypeError: Cannot read property 'count' of undefined
问题：生成博客时出现了问题，TypeError: Cannot read property 'count' of undefined，百度没有相关的解决方案，谷歌到了github上的解决方案，搬运过来了。原网址github$ hexo gINFO Start processingFATAL Something's wrong. Maybe you can find the sol...
2019-07-31 00:31:12
9197
15
原创 XGBoost
xgboost 学习笔记主要内容均来自官方文档，官方文档是英文版，所以简单的翻译了一下，方便日后查看。详细内容见官方手册安装 XGBoost12345ubuntu -python3: pip3 install xgboost 导入: import xgboost as xgb数据接口XGBoost 可以从以下结构中...
2019-07-30 22:02:00
114
转载 决策树1- 基本概念
决策树-1基本概念决策树1- 基本概念决策树决策树算法的基本流程如何选择最优的划分属性?法1: 信息增益法2: 信息增益率法3：基尼指数对抗过拟合 -- 剪枝处理预剪枝后剪枝属性为连续值时？当数据中含有缺失值时？决策树1- 基本概念决策树上图来自西瓜书，是决策树的一种树形。生成决策树的过程，不断的根据样本的属性( 样本的某个特 )划分样本子集。每个结点选择当前最优的属性作为划分依据，将样本...
2019-07-27 22:31:40
594
原创 pandas-2索引和选择数据
pandas -2 索引和选择数据对于一种数据结构,最基本的操作就应该是增删改查了。1. 行列选择行选择和列选择有许多方法，很容易记混，常用的要记住。主要方法有三种： iloc, loc, []行选择切片 12345// 切片df[a:b]// 隔1行选择df[::2]指定位置df.iloc[1, 1]df.ilo...
2019-07-25 07:01:01
102
原创 pandas -1数据结构
pandas -1 数据结构pandas 基本操作都很简单，只是在刚开始学习的过程中，容易忘掉一些API，导致完成一些操作时，总会想着翻翻手册，这一系列博客，是对这些方法进行了梳理，可作为入门学习的参考材料。平时经常翻阅。“index” (axis=0, default), “columns” (axis=1)1. Serie...
2019-07-22 09:01:01
106
原创 评价指标 ROC与AUC
非均衡分类问题非均衡分类问题指的是每个类别的错误代价不同。比如疾病检测中,有病患者诊断健康的代价，要比健康人诊断成有病（可能性）造成的影响更为严重。对于常用的预测模型，通常是有预测的概率值，我们找到一个合适的截断点作为正负类别的界限。显然再不同的任务下，截断点选择是不同的。我们使用Precison 和Recall的新度量指标来针...
2019-07-20 15:10:00
130
原创 集成学习提升算法-Adaboost
Adaboost 算法原理及推导Adaboost 是Boosting算法的代表。Boosting可将许多弱学习器组合达到强学习器的效果。Adaboost 是通过提升错分数据的权重值来改善模型的不足。其主要的流程是：先训练一个基学习器；根据基学习器的表现，改变样本的分布，使得错误分类的样本得到更多的关注；改变分布后的样本再训...
2019-06-25 18:57:01
139
原创 逻辑回归
逻辑回归就是西瓜书里的对数几率回归，名为回归，实际则是分类算法。其实质是利用线性回归模型的预测结果来逼近真实标记的对数几率。一句话概括就是: 逻辑回归假设数据服从 **伯努利分布** ,通过 **极大化似然函数** 的方法，运用 **梯度下降** 来求解参数，来达到将数据二分类的目的。线性模型如何处理二分类问题？在处理...
2019-04-27 13:01:43
346
原创 决策树1-基本概念
决策树1- 基本概念决策树上图来自西瓜书，是决策树的一种树形。生成决策树的过程，不断的根据样本的属性( 样本的某个特征 )划分样本子集。每个结点选择当前最优的属性作为划分依据，将样本集合不断的划分成更小的子集合，直到子集合中样本类别一致时或者没有可以划分的属性值时，则停止划分，标记为叶结点(叶节点代表一个类别)。简单的介绍一下决策...
2019-04-20 18:09:10
290
原创 虚拟机类加载机制
虚拟机类加载机制绑定绑定指的是把一个方法的调用与方法所在的类(方法主体)关联起来。静态绑定前期绑定。在程序执行前方法已经被绑定，此时由编译器或其它连接程序实现java当中的方法只有final，static，private和构造方法 是前期绑定的。动态绑定运行时绑定。在运行时根据具体对象的类型进行绑定。在jav...
2019-04-14 14:11:58
50
原创 华为软挑2019
参加软挑的一些感悟写在前边的话 我本科一直在做嵌入式相关的项目,这是第一次参加软件类的竞赛,不得不说过程确实很刺激,最后止步杭厦赛区50强也很是遗憾,明明很接近,最后输在了代码效率上,本地成绩很好的 python代码 ,上传测评运行时间超限（官测环境比本地性能好，普遍情况是用时远超本地，其中华为云主机集体宕机半小时，很多人测过的...
2019-04-01 18:19:34
271
原创 Network in Network
Network in Network2014年 论文地址： https://arxiv.org/abs/1312.4400论文核心NIN特点:微型网络:增强模型在感受野（receptive field）内对局部区域的辨别能力;GAP全局平均池化:强化了特征图与分类的对应关系;GAP本身是结构化的正则化器，能避免整体结构的过拟合；卷积层使用线性滤波器（卷积核...
2019-01-30 22:04:22
220
2
原创 Deep Residual Learning for Image Recognition
Deep Residual Learning for Image Recognition (ResNet )2015年 论文地址： https://arxiv.org/pdf/1512.03385.pdf通常情况下：神经网络层越深，特征的抽象程度越高，模型的表达能力越强，语义信息越丰富；同时，网络越深，退化问题 越难解决;退化问题是网络加深的障碍简单的增加深度，会导致 梯度弥散 ...
2019-01-30 21:57:43
607
原创 C++梳理笔记
测试内容删除线链接C++学习笔记类型转换：隐式转换： 低类型转换为高类型浮点数（直接舍掉小数，不四舍五入） + 整数显式转换：int **(**z**) = (**int**)** z **= static_cast\<**int**\> (**z**)**。。。数据的输入和输出：信息的流动输入...
2019-01-20 20:30:39
194
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人