七月听雪的博客

原创 PCA主成分分析和LDA线性判别降维

PCA的做法：通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。由于得到协方差矩阵的特征值特征向量有两种方法：特征值分解协方差矩阵、奇异值分解协方差矩阵，所以PCA算法有两种实现方法：基于特征值分解协方差矩阵实现PCA算法、基于SVD分解协方差矩阵实现PCA算法。预备知识：协方差矩阵：PCA的理论推导：...

原创 HMM分词

两个假设：求解目标：根据两个假设可以得到：模型参数：发射概率矩阵（也称之为观测概率矩阵）HMM与CRF区别：1.CRF是判别式模型，HMM是生成式模型。linear-CRF模型要优化求解的是条件概率P(y|x),则 HMM要求解的是联合分布P(x,y)。 判别式模型和生成式模型的区别：机器学习中的判别式模型和生成式模型 - 知乎2....

原创 BiLSTM+CRF

上面是传统的CRF模型，状态发射概率加上状态转移概率。CRF++就是用模版来设置两个概率特征函数。在BiLSTM+CRF中发射概率是由BiLSTM（或者其他的什么模型）给出的，所以CRF就是一个状态转移矩阵，给标签之间加上了约束。下面就是CRF层，就是一个参数矩阵，里面存储着状态之间的转移概率，在训练中这个矩阵也得到优化。self.transitions = nn.Parameter( #概率转移矩阵 torch.randn(self.tagset_size, self.tagse..

原创 文本字面相似度算法

# 编辑距离def edit_distance(word1, word2): len1 = len(word1) len2 = len(word2) dp = np.zeros((len1 + 1,len2 + 1)) for i in range(len1 + 1): dp[i][0] = i for j in range(len2 + 1): dp[0][j] = j for i in range(1...

原创 实体对齐论文

实体对齐（实体链指 实体消歧）等主要是对预训练模型的微调。微调主要包括预训练任务微调和输入表示微调，其中输入表示微调一般是先验知识的引入，预训练任务的调整主要是使模型契合实体相关的任务。1.Global Entity Disambiguation with Pretrained Contextualized Embeddings of Words and Entitieshttps://arxiv.org/pdf/1909.00426v2.pdf输入表示：预训练任务：基于MLM的对.

原创 Pytorch入门

任务1：PyTorch张量计算与Numpy的转换任务2：梯度计算和梯度下降过程使用numpy创建一个y=10*x+b+noise(0,1)的数据，其中x是0到100的范围，以0.01进行等差数列使用pytroch定义w和b，并使用随机梯度下降，完成回归拟合。任务3：PyTorch全连接层原理和使用步骤2：在pytorch中使用矩阵乘法实现全连接层步骤3：在pytorch中使用nn.Linear层任务4：PyTorch激活函数原理和使用步骤2：在pytorch中..

原创 Linux基础使用

Coggle 30 Days of ML（21年11月）任务1：使用命令行登录指定的Linux环境任务2：在目录下创建文件夹、删除文件夹在/home/coggle目录下，新建一个以你英文昵称（中间不要有空格哦）的文件夹A在文件夹A内部创建一个以coggle命令的文件夹B在B文件夹内创建一个空txt文件删除步骤4创建的文件删除文件夹B，然后删除文件夹A任务3：在目录下下载文件、阅读文件步骤1：在home目录下，新建一个以你英文昵称（中间不要有..

原创 com.mchange.v2.resourcepool.CannotAcquireResourceException: A ResourcePool could not acquire a resou

c3p0获取链接失败解决root causecom.mchange.v2.resourcepool.CannotAcquireResourceException: A ResourcePool could not acquire a resource from its primary factory or source. com.mchange.v2.resourcepool.BasicResourcePool.awaitAvailable(BasicResourcePool.java:1319

原创 tensorflow中tensor的静态维度和动态维度

https://www.cnblogs.com/mtcnn/p/9411708.html

原创 NLP Subword三大算法原理：BPE、WordPiece、ULM

https://blog.csdn.net/xixiaoyaoww/article/details/104548745?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase

原创 tf.sequence_mask()

tf.sequence_mask( lengths, # true的个数 （句子的真实长度） maxlen=None, # 向量的总长度 （句子的最大长度） dtype=tf.bool, name=None)tf.sequence_mask([1, 3, 2], 5) # 向量的长度是5# [[True, False, False, False, False], 从头开始有1个true# [True, True, True, False, .

原创 tensorflow1.x：static_rnn与dynamic_rnn之间的区别

主要有创建运算图和处理输入数据两个方面不同。创建运算图：静态 rnn 的意思就是在图中创建一个固定长度（n_steps）的网络动态的tf.nn.dynamic_rnn被执行时，它使用循环来动态构建图形处理输入数据：dynamic_rnn实现的功能就是可以让不同迭代传入的batch可以是长度不同数据，但同一次迭代一个batch内部的所有数据长度仍然是固定的。而且dynamic会根据 sequence_length 中止计算。static_rnn不能这样，它要求每一时刻传入的batch数

原创 单例模式

懒汉模式：线程不安全懒汉模式：public class Singleton { private static Singleton instance; private Singleton (){} public static Singleton getInstance() { if (instance == null) { ...

原创 Java的数据类型

原创 java线程安全问题之静态变量、实例变量、局部变量

原创 锁

同步队列和条件队列的关系：https://blog.csdn.net/disiwei1012/article/details/78596731

原创 AQS

​ AbstractQueuedSynchronizer抽象队列同步器简称AQS，它是实现同步器的基础组件，juc下面Lock的实现以及一些并发工具类就是通过AQS来实现的。AQS是一个抽象类。不可以被实例化，它的设计之初就是为了让子类通过继承来实现多样的功能的。它内部提供了一个FIFO的等待队列，用于多个线程等待一个事件（锁）。java提供了两种方式来加锁，一种是关键字：synchron...

原创 线程的同步

https://blog.csdn.net/ebowtang/article/details/29905309

原创 进程同步

同步与互斥：同步的方式：

原创 幂等性

https://www.cnblogs.com/javalyy/p/8882144.html

原创 http多版本

http1.0默认是没有开启持久链接的，通过http的header部分的 Connection: KeepAlive 来启用长连接。HTTP 1.0不支持Host请求头字段，WEB浏览器无法使用主机头名来明确表示要访问服务器上的哪个WEB站点，这样就无法使用WEB服务器在同一个IP地址和端口号上配置多个虚拟WEB站点。在HTTP 1.1中增加Host请求头字段后，WEB浏览器可以使...

原创 进程（任务）调度

原创 重载 重写底层原理

重载：静态绑定：

原创 https协议_2

SSL协议：HTTPS就是在普通的HTTP基础上加上SSL协议变成安全的通讯协议的。SSL就是利用非对称加密来互通对称加密的密钥的。对称加密就是一个密钥，既可以加密也可以解密。非对称加密就是有两把密钥（公钥，私钥），一把只能加密，一把只能解密。小红给小灰公钥Key1的同时，自己手里还有一把私钥Key1。 小灰生成的密钥Key2，在之后二者通讯加密要用...

原创 DNS

DNS（域名解析）解析过程：DNS服务器：DNS查询：DNS基于UDP协议：

原创 银行家算法

原创 关系型数据库和非关系型数据库

关系型数据库：关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据。关系模型：关系实际上就是关系模式在某一时刻的状态或内容。也就是说，关系模式是型，关系是它的值。关系模式：在二维表中的行定义，即对关系的描述称为关系模式。一般表示为（属性1，属性2，......,属性n），如老师的关系模型可以表示为教师（教师号，姓名，性别，年龄，职称，所在系）。关系就是行...

原创 Java 常量池

class常量池：运行时常量池：字符串常量池：字符串常量池是全局共享的。

原创 String.intern()

每次用intern()方法之后，都是先去常量池中去查找，找不到就把堆里的对象放到常量池中。因为intern()是对象的方法，所以要先有String对象才能用intern()方法，也就是当常量池中没有对应的字符串对象，堆里肯定有。常见问题：...

原创 String、StringBuilder以及StringBuffer

String类：深入理解String、StringBuffer、StringBuilder：性能比较：一般结论：相关面试题：6.String str = new String("abc")创建了多少个对象？...

原创 java——反射

1. 类的加载、连接和初始化：1.1 类的加载：双亲委派机制：类加载器：1.2 类的链接：1.3 类的初始化：2 反射：2.1 反射的基本信息：2.1.1class对象：2.2 Java反射机制的类库支持：2.2.1 获取class对象：2.2.2 获取构造器：3. 反射相关类和方法：3.1 c...

原创 Java——设计模式

http://c.biancheng.net/view/1338.html

原创 Java 线程池

线程池实现原理：使用实例：2345678910111213141516171819202122232425262728293031323334public class Test { public static void main(String[] args) { ...

原创 cookie与session

cookie：特点：Session：

原创 SYN 洪泛攻击

SYN洪泛攻击定义：防范措施：

原创 java——装箱拆箱

自动装箱：实验：equals方法虽然是装箱了，但是比较的仍然是数值。

原创 协程

对于生成器来说，yiled就是中断，send是中断恢复。

原创 操作系统——信号量

原创 操作系统——虚拟内存（详细）

分页存储：页表：页表也是存储在内存里的。基本地址变换机构：具有快表的地址变换机构：两级页表：虚拟内存：请求分页：页面置换算法：页面分配：...

原创 操作系统——内存基础

装入的方式：链接：