lucas的博客

原创 机器学习05-神经网络

机器学习-神经网络1、神经元模型M-P神经元模型来自n个其他神经元的输入信号通过权重汇总，与阈值进行比较，然后通过激活函数activation function处理产生输出。许多神经元按照一定的层次结构连接组成神经网络。理想的激活函数为阶跃函数，但具有不连续、不光滑的不太好的性质实际常用Sigmoid函数2、感知机与多层网络由两层神经元构成输入层接受外界输入信号输出层是M-P神经元通过训练数据集学习ω\omegaω和θ\thetaθ，阈值θ\thetaθ可看作固定输入为-1的

原创 机器学习04-决策树

机器学习-决策树1、基本流程当前结点包含的样本全属于同一类别，无需划分当前属性集为空，或是所有样本在所有属性上取值相同，无法划分当前结点包含的样本集合为空，不能划分2、划分选择决策树学习的关键是算法第8行，即如何选择最优划分属性。随着划分进行，目标为决策树的分支结点所包含的样本尽可能属于同一类别，即结点的纯度purity越来越高。2.1、信息增益信息熵，度量样本集合纯度最常用的一种指标，信息熵越小，纯度越高。集合D的信息熵为信息增益，样本集D的信息熵减去用属性a分类后各结点信息

原创 机器学习01-模型评估与选择

机器学习01-模型评估与选择1、经验误差与过拟合错误率E=a/mE=a/mE=a/m=样本分类错误/样本总数精度=1-错误率在训练集上的误差称为训练误差或经验误差新样本上的误差称为泛化误差2、评估方法测试集->测试误差 作为泛化误差的近似测试集应尽可能与训练集互斥产生训练集S和测试集T2.1、留出法直接将数据集DDD分为两个互斥的集合，训练集SSS，测试集TTT，正反例按照相同的比例缺陷：如TTT较小，评估结果会不够准确；如TTT较大，SSS和DDD的差距会变大，被评估的模型

原创 希腊字母表

原创 python 定时调度 APScheduler

python 定时调度 APSchedulerAPScheduler是基于Quartz的一个Python定时任务框架1、安装pip install apscheduler2、组成部分2.1、触发器（trigger）每一个作业有它自己的触发器，用于决定接下来哪一个作业会运行2.2、作业存储（job store）存储被调度的作业，默认的作业存储是简单地把作业保存在内存中，其他的作业存储是将作业保存在数据库中。2.3、执行器（executor）处理作业的运行，在作业中提交制定的可调用对象到一

原创 统计学基础专栏05---分类

0、术语0.5、分类条件概率在给定另一个事件（比如 Y = i）的条件下，观测到某个事件（比如 X = i）的概率，记作[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SgnOqzQW-1619356377767)(统计学基础.assets/image-20210424163747496.png)]后验概率在给定预测因子的情况下，出现某一结果的概率（后验概率不同于结果的先验概率，后者并未考虑预测因子的信息）。协方差对一个变量相对于另一个变量的一致程度（幅度和方向

原创 统计学基础专栏04---回归和预测

0、术语0.4、回归和预测响应变量想要预测的变量。自变量用于预测响应的变量。记录一个表示特定个体或实例的向量，由因子和结果值组成。截距回归线的截距，即当 X = 0 时的预测值。回归系数回归线的斜率。拟合值从回归线获得的估计值残差观测值和拟合值之间的差异。最小二乘法一种通过最小化残差的平方和而拟合回归的方法均方根误差回归均方误差的平方根，它是比较回归模型时使用最广泛的度量标准残差与均方根误差的计算一样，只是根据自由度做了调整R 方可以被模型解释的变异的比例，值介

原创 统计学基础专栏03---统计实验与显著性检验

统计学基础专栏03—统计实验与显著性检验0、术语0.3、统计实验与显著性检验处理实验对象所接触的东西，例如药品、价格、Web 标题等。实验组执行特定处理的一组对象。对照组执行标准处理或不执行处理的一组对象。随机化随机地分配实验对象以进行处理的过程。实验对象接受处理者，例如 Web 访问者、病人等。检验统计量用于检验处理效果的度量零假设完全归咎于偶然性的假设。备择假设与零假设相反，即实验者希望证实的假设。单向检验在假设检验中，只从一个方向上计数偶然性结果。双向检验在

原创 统计学基础专栏02---数据和抽样分布

统计学基础专栏02—数据和抽样分布0、术语0.2、数据和抽样分布样本大型数据集的一个子集总体一个大型数据集，或是一个构想的数据集N（或n）一般用N表示总体的规模，n表示样本的规模随机抽样从总体中随机抽取元素到样本中分层抽样对总体分层，并在每层中做随机抽样简单随机抽样在不对总体分层的情况下，做随机抽样得到的样本样本偏差样本对总体做出了错误的解释偏差系统性误差数据窥探为得到感兴趣的结果，在数据中做大量的查找大规模搜索效应由于重复的数据建模，或使用大量的预测变量对数据建

原创 统计学基础专栏01---探索性数据分析

统计学基础专栏01—探索性数据分析0、术语0.1、探索性数据分析连续型数据数据可在一个区间内取任意值离散型数据数据只能取整数，例如计数分类型数据数据只能从特定集合中取值，表示一系列可能的分类，如屏幕类型LCD，LED二元数据0或1，true或false有序数据具有明确排序的分类数据数据特征通常称数据表中的一列为一个特征记录通常称数据表中的一行为一条记录均值所有数据之和除以数据的个数加权均值各数值乘以相应的权重值，然后加总求和，再除以权重的总和中位数使得数据集中分别

原创 自然语言处理nlp论文精读

自然语言处理nlp论文精读Attention Supervision with Counterfactuals for Text ClassificationCascaded Semantic and Positional Self-Attention Network for Document ClassificationHierarchical Attention Prototypical Networks for Few-Shot Text Classifification下载地址...

原创 推荐系统2019-2021顶尖会议论文聚焦

推荐系统2019-2021顶尖会议论文聚焦recommendation & deep learning– AAAI_2020_A Knowledge-Aware Attentional Reasoning Network for Recommendation.pdf– AAAI_2020_An Attentional Recurrent Neural Network for Personalized Next Location Recommendation.pdf– AAAI_2020

原创 Linux基础

Linux基础一切皆文件：读，写，权限1、入门概述1.1、关机shutdown1.2、系统的目录结构2、文件权限chmod 更改文件属性3、文件内容查看4、常用目录网络配置目录/etc/sysconfig/network-scripts5、链接ln f1 f2 硬链接ln -s f1 f3 软链接6、Vim编辑器vim文本编辑器通过一些插件可以实现和IDE一样的功能查看，编辑，保存7、账号管理属主，属组添加用户 useradd

原创 SpringBoot基础

SpringBoot1、简介1.1、SpringBoot约定大于配置框架1.2、微服务架构风格https://www.sohu.com/a/221400925_1000396892、第一个SpringBoot程序2.1、网页构建https://start.spring.io/或IDEA中构建2.2、代码结构生成jar包可直接执行2.3、配置自定义banner修改项目端口号3、原理自动配置：pom.xmlspring-boot-dependencies

原创 JavaWeb开发常用官网收集

JavaWeb开发常用官网收集后端技术说明官网SpringBootMVC框架https://spring.io/projects/spring-bootSpringCloud微服务框架https://spring.io/projects/spring-cloud/SpringSecurity认证和授权框架https://spring.io/projects/spring-securityMyBatis-PlusORM框架https://mp.bao

原创 Mybatis基础

Mybatis1、简介MyBatis 是一款优秀的持久层框架，它支持自定义 SQL、存储过程以及高级映射。MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的工作。MyBatis 可以通过简单的 XML 或注解来配置和映射原始类型、接口和 Java POJO（Plain Old Java Objects，普通老式 Java 对象）为数据库中的记录。持久层框架，支持定制化SQL、存储过程以及高级映射避免JDBC代码XML或注解配置如何获取：githubm

原创 过滤器和监听器

FilterFilter：过滤器，用来过滤网站的数据处理中文乱码登录验证。。。1、编写过滤器1.1、导包1.2、编写过滤器代码实现Filter接口，重写对应的方法1.3、配置web.xml监听器实现一个监听器的接口web.xml配置监听器...

原创 Spring 基础

Spring1、简介理念：使现有的技术更加容易使用，大杂烩，整合了现有的技术框架SSM：SpringMVC+Spring+Mybatis官网：https://spring.io/projects/spring-framework#overview官方下载地址：https://repo.spring.io/release/org/springframework/spring/Github地址：https://github.com/spring-projects/spring-framework&

原创 JavaWeb基础

JavaWeb1、基本概念静态web html，css动态web servlet/JSP/php在java中，动态web资源开发的技术统称为javaweb1.1、web应用程序可以提供浏览器访问的程序a.html, b.html整合起来被外界访问能访问到的任何一个页面和资源，都存在于世界某一角落的计算机上web应用程序编写完毕后，若想被外界访问，需要一个服务器统一管理1.2、静态web*.htm, *.html 可以直接读取request->we

原创 JSP基础入门

JSP1、简介java server pages：java服务器端页面，也和servlet一样，用于动态web特点：写jsp就像在写html区别：html只给用户提供静态的数据jsp页面中可以嵌入java代码，为用户提供动态数据2、jsp原理浏览器向服务器发送请求，不管访问什么资源，其实都是在访问servletJSP最终也会转换为java类，tomcat运行时转换JSP本质上就是一个Servlet在JSP页面中:JAVA代码会直接输出，HTML会被转换为out.wr

原创 Cookie&Session

Cookie&Session1、会话会话：打开浏览器访问web资源的过程有状态会话：cookie 或session2、保存会话的技术cookie客户端技术session服务器技术，保存用户的会话信息区别cookie是把用户的数据写给用户的浏览器，浏览器可以保存（多个）session把用户的数据写到用户独占session中，服务器端保存（保存重要信息，减少服务器资源的浪费）3、Cookie从请求中拿到cookie服务器响应给客户端cookieCookie[

原创 Servlet基础入门

Servlet1、Servlet简介sun公司开发动态web的技术sun在这些API中提供了一个接口叫 Servlet，如想开发Servlet程序，只需要：编写一个类，实现Servlet接口把开发好的java类部署到web服务器中2、HelloServlet构建普通Maven项目，删掉里面的src，之后可在此项目下建立module，之后这个工程就是maven的主工程Maven父子项目的理解，父项目中的jar包子项目可以直接继承Maven环境优化修改web.xml为

原创 Maven基本配置

Maven自动导入和配置jar包项目架构管理工具核心思想：约定大于配置规定如何编写java代码，必须按照规范来安装官网环境变量path配置测试是否成功setting.xml 配置镜像 <mirror> <id>nexus-aliyun</id> <mirrorOf>*,!jeecg,!jeecg-snapshots</mirrorOf> <name>Nexus aliyun&l

原创 MySQL基础

MySQL基础1、数据库1.1、概念软件，安装在操作系统之上，本质还是文件的存储关系型数据库：SQLMySQL，Oracle，Sql Server，DB2，SQLlite，通过表和表之间，行和列之间进行存储可以把每张表看作一个类，每行为一个对象非关系型数据库：NoSQL （not Only）Redis，MongDB，存对象，通过对象自身属性决定1.2、 DBMS数据库管理系统，维护和获取数据应用->数据库管理系统（管理和操作）->数据库（存储）1.3、MySQL

原创 python 实现Oracle数据库查询及报警邮件发送

python 实现Oracle数据库查询及报警邮件发送1、整体结构2、分层结构2.1、导入模块import smtplibfrom email.mime.text import MIMETextfrom email.header import Headerfrom email.utils import formataddrfrom email.mime.application import MIMEApplicationfrom datetime import datetimei

原创 java 注解和反射

注解和反射注解Annotation形式@+“注释名”内置注解@Override 重写超类中的一个方法声明@Deprecated 不推荐使用的已废弃的方法@SuppressWarnings 镇压警告元注解注解其他注解，在构造注解时使用@Target 用于描述注解的使用范围@Retention 在什么级别保存该注解信息，runtime(运行时)>class(class文件)>sources(源代码)@Document 说明该注解包含在javadoc中@Inherite

原创 深度学习-softmax回归原理和实现

softmax回归输出单元为多个，单层神经网络，输出层为全连接层神经网络图运算矢量计算表达式softmax回归的权重和偏差参数分别为样本特征features输出层输出概率分布为矢量计算表达式为小批量样本分类的矢量计算表达式交叉熵损失函数交叉熵衡量两个概率分布的差异图像分类数据集 Fashion-MNISTfrom mxnet.gluon import data as gdataimport sysimport timemnist_train=gdat

原创 javascript 基础入门

javascript1、概述JavaScript是一门世界上最流行的脚本语言Java和JavaScript没关系ECMAScript可以理解为JavaScript的一个标准，版本到es62、基本2.1、设定2.2、引入2.3、语法严格区分大小写其余基本和java相同2.4、浏览器元素控制台源代码网络请求web数据库2.5、数据类型number,js不区分小数和整数字符串正常字符以单引号，双引号包转义字符 \ 多行字符串编写``包，ES

原创 nlp 机器翻译Machine Translation

机器翻译Machine Translation挑战歧义词序指代Interlingua翻译中间组件系统，设计非常困难但是每个语言分解世界概念都有不同的方式Parallel corpora 平行语料不同语言之间的句子对，即一种语言的一个句子相应翻译到另一种语言的一个句子，可监督噪声信道理论p(e)p(e)p(e)评估语言合理性IBM Model 1IBM Model 2Phrase-Based Models...

原创 nlp 语法解析Parsing

语法解析Parsing解析树s支配了整个子串[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ipNJQPav-1608460079812)(语言模型Language Model.assets/image-20201213153658256.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jfNLs8Zd-1608460079815)(语言模型Language Model.assets/image-20201213153800110

原创 线性回归深度学习原理与实现

线性回归线性关系以x1 和x2 估计y值，故训练ω\omegaω和b三个参数损失函数 loss function均值表示模型质量优化算法求出适合的参数，尽可能降低损失函数小批量随机梯度下降神经网络图此为单层神经网络此输出层中的神经元与输入层中各个输入完全连接，所以此输出层叫全连接层或稠密层矢量计算表达式两个向量的加法中，矢量相加比各个元素单独相加快很多，故转为矢量计算其中损失函数写为小批量随机梯度下降的迭代步骤写为梯度写为线性回归程序编写from

原创 pipeline执行过程

pipeline五个阶段寄存器存储信息，隔离子过程模拟内存指令构成结构Add执行过程 I-typeLoad指令 R-typeif控制指令jumppipeline控制信号片转存中…(img-rFjl6Ls3-1608439092468)]控制信号

原创 文本分类

文本分类常见的文本分类模型训练集->特征工程->分类器特征工程文本预处理去除异常符号、分词、去除停用词特征提取文本表示Bag of Words(One hot). TF-IDF. TextRank词袋模型Bag of wordsOne hot 把词对应位置的数值改为1，其他为0TF-IDFTF：衡量一个词在文档中出现的多频繁IDF：log(文档总数/含有t的文档总数)TF-IDF=TF*IDF分类器朴素贝叶斯、LR、SVM朴素贝叶斯条件概率 P(A|B)=P

原创 梯度

梯度概念导数derivate偏微分partial derivate，指定导数方向梯度gradient ，偏导数的向量梯度反映函数变化趋势增长方向和增长速度（箭头方向和长度）如何搜索极值解不平滑，有多个局部极大极小值鞍点影响因素初始点步长learning rate，应设置小一点，影响速度和精度逃出局部极小值escape minima,惯性常见函数的梯度求导激活函数Activation Functionssigmoid/logistictanhReLU

原创 NLP预备知识

NLP预备知识1.语言学基础2.机器学习/深度学习算法pytorch3.语言模型计算概率各单词为随机变量，计算全概率，转换为计算条件概率，转换为2(N)阶马尔可夫（只与该单词前两个单词有关）N越大频次越小区别力越大，N越小频次越大参数估计的可靠性越高模型评估度量：混乱度Perplexity模型训练词向量4.序列标注Tagging标注词性（开放类，封闭类）–POS标注问题：POS歧义，可能出现频次低但不能忽视命名实体识别难点：未登录词5.句法分析Pa

原创 语言模型Language Model

语言模型Language Model三元语言模型构建在马尔可夫理论上，构建联合概率模型二阶马尔可夫i的概率依赖于i-1，i-2的值三元语言模型构成其联合概率写成概率估计极大似然估计，参数巨大线性插值结合了一元，二元，三元如何估计λ\lambdaλ打折法降低了某些估计的值混乱度Perplexity越小越好语法解析Parsing解析树s支配了整个子串CFG Context-Free Grammars派生序列表示每次取最左端非终端的项继续表示

原创 Git基本操作与IDEA配置

Git版本控制多人开发，历史记录，跟踪开发过程常见版本控制器Git ，SVN，CVS， VSS版本控制分类本地版本控制集中版本控制（服务器）代表产品SVN分布式版本控制系统（Git），仓库同步到每个用户，不会因为服务器损害造成影响Git和SVN区别SVN有中央服务器，Git为分布式Git安装与配置git官网启动Git配置# 查看系统configgit config --system --list#查看当前用户（global）配置git config --globa

原创 同时安装jdk1.7和jdk1.8解决Eclipse Birt不兼容问题

同时安装jdk1.7和jdk1.8解决Eclipse Birt不兼容问题问题描述report reviewer 预览报错Jetty 与Java1.8 不兼容解决方案1. 同时安装jdk1.7和jdk1.8安装jdk1.8删除系统变量PATHC:\Program Files (x86)\Common Files\Oracle\Java\javapath;配置JAVA_HOME为jdk1.7删除三个文件2.切换jdk1.7->1.8系统环境变量

原创 linux 内存占用查看

linux 内存查看1.查看所有大致内存占用cat /proc/meminfo2.查看各进程内存占用详细信息top3.查看该进程详细信息cat /proc/[pid 进程id]/status4.查看该进程下所有线程信息top -H -p [pid]5.查看线程堆栈信息打印该线程id的十六进制表示printf "%x\n" [pid]打印该线程堆栈信息jstack [进程id] |grep -A 10 [线程id十六进制表示]``查看死锁的ja

原创 jdk jre jvm区分

JDK,JRE,JVM区分JDKJava Development Kit开发需安装JREJava Runtime Environment运行需安装JVMJava Virtual Machine相当于一种操作规范，或模拟了cpu处理java程序实现跨平台的核心