yjli98的博客

原创 机器学习基础：SVM的推导

原创 pandas 用法随记

在看某个比赛的baseline时遇到了些以前没用过的pandas库中的方法，将一般用到的方法记录一下。最基本的当然就是打开和保存了dataframe = pd.read_csv('this is a csv.csv')dataframe.to_csv('save_name.csv',index=False,sep=',') # index为是否保留行号，sep是分隔符号关于drop的用法dataframe.drop(['name','age'], axis=1) axis=1等价于指.

原创 Process finished with exit code -1073741819 (0xC0000005)

今天遇到了一个比较奇怪的bugProcess finished with exit code -1073741819 (0xC0000005)问题是在我使用pycharm运行python时发生的问题代码定位在了opencv的circle函数上这个函数的用法是这样的 cv2.circle(background, position, radius, (b, g, r), -1)一开始在网上进行了搜索，相同的报错信息有很多，但是没有发现特别相关的解决方案最后经排查发现是circle传入

原创 【论文学习】使用图神经网络检测源代码漏洞

论文的简单学习： 2021-TIFS-Combining Graph-Based Learning With Automated Data Collection for Code Vulnerability Detection研究背景：使用机器学习的手段检查代码的漏洞或bug现有研究的问题：现有对源代码的建模的深度学习方法，通常采用的是RNN结构，但是这种结构会将源代码的程序结构视为一个sequence。然而，程序源码的结构包含有丰富的控制流和信息流等，rnn结构只能捕获简单的表面顺序，因此现.

原创 life long learning 学习笔记

学习来源：李宏毅2020机器学习深度学习(完整版)国语链接:https://www.bilibili.com/video/BV1JE411g7XF?p=99life long learning 也可称为：终身学习的目的：同时学会多个技能为了达成life long learning 需要解决的问题：1、保留多任务的知识（不遗忘） 2、知识迁移 3、有效率的模型扩张举例：使用nn对手写数字0进行识别，如图的两个问题，如果先学task1，再学task2，会使task1的表现变差

原创 一种用于入侵检测的序列相似度度量方法：序列覆盖法

论文学习：2018-TIFS-sequence covering for efficient host based intrusion detection•引入：想要根据系统调用序列进行异常检测，最直接的想法就是使用正常序列与未知序列进行比对；若未知序列与正常序列相似，则可认为是正常序列；若未知序列与正常序列相差较大，则可认为它是异常序列。•序列比对：欧式距离是最容易理解的相似度比对算法，它根据欧式空间中两点的距离进行计算；但是用于序列相似度计算时，它只能反映出同一位置上序列元素的差异性，而无法捕获

原创 使用LSTM语言模型进行系统调用序列的异常检测

论文学习：LSTM-Based System-Call Language Modeling and Robust Ensemble Method for Designing Host-Based Intrusion Detection Systems.将语言模型的概念引入系统调用序列的异常检测系统中。引入：语言模型：用来计算一个句子的概率的模型，也就是判断一句话是否正常的概率假设给定句子 S=w1,w2,w3,...,wk则句子S出现的概率（S正常的概率）在统计语言模型中：采用极大似然估

原创 序列特征提取之语义特征 Semantic feature

学习论文：G. Creech and J. Hu, "A Semantic Approach to Host-Based Intrusion Detection Systems Using Contiguousand Discontiguous System Call Patterns," in IEEE Transactions on Computers, vol. 63, no. 4, pp. 807-819, April 2014, doi: 10.1109/TC.2013.13.论文提取了.

原创 自规的多任务进化优化算法

对论文sremo进行了实现与实验，以下ppt首先介绍了sremo算法，然后将我的实现与论文中的相关结果进行解释和对比some concept:my result and comparison:my result:实现代码：github.com/lyj1ng/sremto...

原创 使用遗传算法解决中国TSP问题

遗传算法基本流程：编码：即不同的城市 0-33（34个城市）初始化种群：要产生较好的初始化结果，所以我采用的是先随机选择开始点，再选择与这个点最近的点作为下一个点（为保证初始化的多样性，最近的点由十余次搜索以内产生，进行十步以上搜索时有概率中止搜索操作）python代码：for i in range(INDINUM): init=[] allc...

原创 Google机器学习课程笔记（4）

神经网络简介：常见激活函数：s型函数ReLU（修正线性单元激活函数）添加特征工程、修改层数、修改神经元数、修改学习速率、正则化率、激活函数等都可以影响模型输出训练神经网络：很多情况会导致反向传播算法出错：梯度消失：当较低层的梯度逐渐消失到0时，这些层的训练速度很慢（ReLU激活函数有助于防止梯度消失）梯度爆炸：网络中的权重过大，梯度过大难以收...

翻译 RAISR论文学习

论文题目《RAISR: Rapid and Accurate Image Super Resolution》作者Yaniv Romano, John Isidoro, and Peyman Milanfar, Fellow, IEEE部分个人觉得关键的点：二、全局滤波器：使距离最小化：{yi} and the desired training HR images {xi}...

原创 Google机器学习课程笔记（3）

特征组合：不要组合过度简单正则化添加模型复杂度惩罚项、结构风险最小化（简化模型）L2正则化逻辑回归S型函数：，确保输出在0，1之间逻辑回归的损失函数：对数损失函数其中（x,y）为数据集，y为标签，y‘为预测值分类：使用逻辑回归解决分类任务评估指标：精确率与召回率分类阈值2X2混淆矩阵：ROC和曲线下面积...

原创 Google机器学习课程笔记（2）

training and test sets降低过拟合的发生：分成三个子集验证集评估训练集的效果，通过后再使用测试集评估检查特征工程：原始数据---》特征矢量缩放特征值（转换为标准范围（0，1），（-1，1））处理极端离群值：取对数最大值限制（伪影）分箱：分成多个不同的布尔值特征特征组合：组合独...

原创 Google机器学习课程笔记（1）

课程来源Google机器学习速成：https://developers.google.cn/machine-learning/crash-course/样本：有标签（x,y）{特征，标签} 无标签（x,?）{特征，？}回归模型：预测连续值分类模型：预测离散值线性回归：y=w1x1+b误差：L2误差（方差）=(观测值-预测值)^2L2Los...

原创 java学习笔记（9）

一些tips：类中声明的变量有默认初始值；方法中声明的变量没有默认初始值，必须在定义时初始化，否则在访问该变量时会出错。（false） 垃圾回收在jvm中优先级相当相当低、垃圾收集器（GC）程序开发者只能推荐JVM进行回收，但何时回收，回收哪些，程序员不能控制、垃圾回收机制只是回收不再使用的JVM内存，如果程序有严重BUG，照样内存溢出、进入DEAD的线程，它还可以恢复，GC不会...

原创 java学习笔记（8）

java知识点学习java反射：在Java程序中获得Class对象通常有如下三种方式：1.使用Class类的forName(String clazzName)静态方法。该方法需要传入字符串参数，该字符串参数的值是某个类的全限定名（必须添加完整包名）。2.调用某个类的class属性来获取该类对应的Class对象。3.调用某个对象的getClass()方法。该方法是java.la...

原创 java学习笔记（7）

java中输入输出流主要由四个抽象类表示：字节流：InputStream、OutputStream  字符流：Reader、Writer根据功能层次的不同：分为节点流和处理流Example：package com.test;import java.io.*;public class streamtest { public static void main(String[...

原创 java学习笔记（6）

Swing简单学习： package com.test;import javax.swing.*;import java.awt.*;public class SwingUse extends JFrame{ public SwingUse() { this.setTitle("use JFrame"); this.setBounds(3...

原创 java学习笔记（5）

匿名内部类：创建匿名内部类时必须同时创建匿名内部类对象否则以后将不能创建匿名内部类对象public class innerClass{ public static void main(String[] args) { NeiFather nf=new NeiFather()//创建匿名内部类时必须同时创建匿名内部类对象 {//匿名内部类中可以...

原创 java学习笔记（4）

异常处理：要将范围相对较小的异常放在前面、范围相对大的异常放在后面try { int[] a=new int[5]; a[6]=0; } catch(ArrayIndexOutOfBoundsException ee) { System.out.print...

原创 java学习笔记（3）

接口：接口里的方法是没有方法体的，接口里定义的方法需要在其子类中实现抽象类中有抽象的方法和普通的方法；接口里的方法全为抽象的，接口中的方法不可以时final或static的，也不能使用public以外修饰符（都是public）抽象类中可以有成员变量，而接口中的变量都是默认public static final类型即常量package com.test;public inter...

原创 java学习笔记（2）

final关键字修饰成员变量：其值不能改变，必须进行初始化；final修饰方法：能被继承，不能被重写（保护父类特殊数据）final修饰类：类不能被继承 static静态变量：在所有对象里只存在一份；不依赖于对象的加载而依赖于类的加载（静态变量是属于类的）；static方法：类方法：静态方法不能被重写static final：静态常量：唯一的不可变的只存在一份的数据 ...

原创 算法导论学习笔记（2）

big O notation:类比为小于等于       n2+O(n)=O(n2)big Omega notation Ω：类比为 大于等于  Θ：类比为等于严格符号：小o与小ω：类比为小于和大于 解递归方法：1、替换法：guess the form,verify by induction,solve the consts2、递归树法3、master method...

原创 算法导论学习笔记（1）

学习资源：网易公开课：算法导论http://open.163.com/special/opencourse/algorithms.html运行时间：输入本身、输入size、want 运行时间上界分析方法：1、worst-case analysis(usually): T(n):maximium time on any input of size n                 ...

原创 简单的python socket编程-聊天程序

简单的python socket编程，实现登陆注册、聊天、文件发送等功能服务端import socketimport threading,timeimport osimport structimport sysfrom queue import Queuedef deal(conn,addr,queue): logined=0 content='' gl...

原创 java学习笔记（1）

java学习笔记（1）简单的乘法表实现：public class For{ public static void main(String args[]) { for(int i=9;i>0;i--) { for(int j=9;j>0;j--) { if(j<=i) System.out.print(i+"*"+j+"="+