- 博客(29)
- 收藏
- 关注
RSS订阅原创 卡尔曼滤波公式推导
已知时刻k−1位置状态向量为Xk−1，下一时刻k位置状态向量为XkXkFkXk−1nm其中，Fk表示从k−1时刻到k时刻之间位置状态向量的转移关系，nm表示运动模型噪声，假设服从于正态分布N0Q此外，在不同的位置观测到不同的路标点ZkZkHkXknw其中，Hx表示根据位置向量生成观测Zk的观测矩阵，nw表示观测噪声，假设服从于正态分布N0R。
2023-07-29 17:14:23
241
原创 Lie-Algebraic Averaging For Globally Consistent Motion Estimation
Lie-Algebraic Averaging For Globally Consistent Motion Estimation问题描述n张图像的配准需要n-1个刚体变换来描述，而n张图像最多可以求解出n(n-1)/2个刚体变换。如果直接从中按照某种策略选取n-1个刚体变换的话，误差会逐渐累积，因此论文中提出基于李代数的全局运动估计平均方法。基本思路假设全局n张图像对应相机坐标系到全局坐标系的变换矩阵分别是Ti,i=1,...,nT_i, i=1,...,nTi,i=1,...,n，任意两张图像
2020-07-26 12:18:57
307
2
原创 隐含马尔科夫(HMM)模型算法推导
隐含马尔科夫(HMM)模型1.简介 隐含马尔科夫模型是一种关于时序的有向图概率模型，可用于最高气温预测、分词等时序数据建模问题。首先介绍下这一类问题的特点，用oto_tot表示t时刻观测值，记观测值序列为O={o1,o2,…,on}O=\{o_1,o_2,\dots,o_n\}O={o1,o2,…,on}，某一个时刻t的观测值与前n个时刻观测值有一定关系；根据常识来看，某天的最高气温...
2019-05-17 14:43:50
723
原创 EM算法及高斯混合模型算法推导
期望最大化(EM)算法1.前言 概率模型有时候既含有观测变量，又含有隐变量。只含有观测变量的情况下，直接对观测值进行极大似然估计便能够求出参数；比如抛一枚不均匀硬币n次，极大似然估计能够求解出正反面分别出现的概率。在含有隐变量的情况下，无法通过极大似然估计求得；比如手中有三枚不均匀硬币，先从中选取一枚硬币，然后再抛，得到的正反面为观测值；如果直接用极大似然估计，无法体现选择硬币的过程，错误地...
2019-05-13 17:47:09
1860
原创 集成学习（AdaBoost、随机森林）算法推导
集成学习1.个体与集成 有一句文化术语，“三个臭皮匠顶个诸葛亮”。本篇文章的主题集成学习就是这句话的践行者，什么是集成学习呢？集成学习就是将多个个体学习器组合成一个组合学习器的方法，这样的组合通常能够取得优于个体学习器的泛化性能，特别是个体学习器是弱学习器时效果显著，因此，集成学习理论研究通常针对于弱学习器。多个学习器既可以采用同一种模型算法，又可以采用不同的模型算法；前者的集成是"同质的"...
2019-05-10 10:08:30
585
原创 WIN10下OpenCV4.1.0与VS2017安装
OpenCV安装1.从官网下载OpenCV安装包官网：https://opencv.org/releases/下载windows版本，下载有时候会比较慢，可以从github上下载github页面点击releases标签选择windows版本下载2.安装OpenCV将下载好的opencv-4.1.0-vc14_vc15.exe找到，并且选中右击鼠标，以管理员方式运行。在以下...
2019-05-02 12:11:10
4980
2
原创 支持向量机SVM算法推导及实现
支持向量机1.前言支持向量机(Support Vector Machine)是常用的分类模型，其核心思想是求解超平面使得数据集分成两堆，其中一堆是正例，另一堆是反例。但能够将数据集D分开的超平面存在很多个，如下图所示，我们应该如何选择最优超平面呢？从直觉上看，粗线应该是最优超平面，因为正反例样本距离超平面最远、间隔最大。间隔越大，说明分类越准确，置信度越高。在样本空间中，划分超平面可以通...
2019-04-26 12:52:26
884
原创 模型评估与选择
模型评估与选择注：由于本人水平有限，难免出现纰漏，敬请诸君不吝赐教。1.前言 机器学习具体说来，就是从假设空间中找出最优的模型。对于现实问题，应该先对问题进行分析，选择某一个模型算法，比如支持向量机、随机森林等，训练得出模型。但不同模型算法或者同一模型算法不同超参数都可能产生比较大的性能差异，这时，我们需要评估模型好坏，从而确定模型算法以及超参数。2.评估方法（1）留出法 留出法直...
2019-04-17 12:01:58
414
原创 tensorflow环境搭建
tensorflow环境搭建1.Anaconda安装 anaconda是python集成开发环境，主要提供包管理、多环境管理等功能。 清华镜像链接 选择最新是适合版本下载安装即可2.Anaconda使用介绍 Anaconda安装成功后，开始菜单栏会新增以下快捷方式:（1）Anaconda Prompt、Anaconda Powershell Prompt Ana...
2019-04-13 19:49:39
501
原创 机器学习概述
机器学习概述注:本文中机器学习大部分指统计学习，本人水平有限，如有纰漏，敬请不吝赐教。1.前言 机器学习专门研究计算机怎样实现人类的学习行为。人类学习行为可以看做一种算法，当我们牙牙学语时，大人们会指着布谷鸟说这是鸟，这就可以看做是输入数据，这时候我们对鸟有了一定的认识，看到布谷鸟我们知道是鸟。当然当我们看到白鹭时，还是没办法认识到这是鸟，不断地重复，我们能够自动抽象出一种模型：”有翅膀、...
2019-04-13 14:08:39
190
原创 Hadoop学习笔记之flume Nginx日志收集到HBase
简介Nginx访问日志形式: $remote_addr – $remote_user [$time_local] “$request”$status $body_bytes_sent“$http_referer” ”$http_user_agent”例如:192.168.241.1 - - [02/Mar/2017:15:22:57 +0800] “GET /favicon.ico HTT
2017-03-23 09:03:38
2425
原创 hadoop学习笔记之hive 安装与配置
环境ubuntu 16.04hadoop 2.7.3hbase 1.2.4hive 2.1.1安装配置1.下载安装包解压并配置环境变量 2.安装mysqlsudo apt-get install mysql-serversudo apt-get install mysql-client创建数据库’hive_meta’mysql -u root -pmysql> create databa
2017-03-14 12:15:10
500
原创 hadoop学习笔记之flume
浅谈flume工作原理flume以agent为运行单位，agent实质上是一个java进程，不断将数据从一个地方(如日志文件)传递到另一个地方(比如hdfs)。 agent中传递数据的基本单位是事件(Event)，Event结构很简单，就包含header和body，header是一个map，body是字节数组。主要组件有三个：1.Source-用于从数据源获取数据，组装成为Event，传递给后序操
2017-03-13 18:18:32
358
原创 hadoop学习笔记之HDFS
1.HDFS存储机制HDFS包含三个守护进程：NameNode、Secondary NameNode和DataNode。HDFS中使用“块”这样一个概念，将数据分成块，每一块默认大小64M，比磁盘块大得多，这是为了减少寻址时间占传输时间的比重。数据块存放在DataNode节点中，DataNode负责维护本地数据块列表。为了避免丢失，通常数据库会有多个副本，默认值是3，可配置。NameNode中存放元
2017-03-13 11:47:55
414
原创 hadoop学习笔记之zookeeper服务
1.zookeeper基础zookeeper是Hadoop生态圈中一份子，其作用是解决分布式系统之间协调通信问题。zookeeper维护着一个树形层次结构，树上的节点称为znode，这样的树形结构类似于文件系统下文件目录结构，znode中存储数据和相应的ACL(访问控制列表)，znode也可以含有多个子结点，与文件系统不同的是，znode存放数据量小，所以存放在内存中。zookeeper通
2017-03-10 15:56:37
378
原创 hadoop学习笔记之hbase原理
基础hbase是面向列存储的NoSQL数据库。行的每一列被划分到某一列族，调优和存储都是基于列族完成的。在数据库中，行的每一列作为存储的基本单位，其结构关系为，每一行包含一个或多个列族，一个列族包含多个列，这样可通过行键确定行，列族名确定列族，列名确定列，从而定位到某一行的某一列。例如，行键为1，列族为a，列为a1，那么在hbase中存放形式为rowkey=1,col=a:a1,value=…，ti
2017-03-10 11:39:05
381
原创 hadoop学习笔记之Hbase安装
环境hadoop2.7.3+zookeeper3.4.9+jdk1.8hbase可以独立部署，不过在此之前如果要部署分布式，需要先设置免密登录SSH安装1.从官网上下载HBase1.2.4并解压到用户目录/home/user/hadoop 2.配置环境变量 3.配置hbase-env.sh#jdk安装位置export JAVA_HOME=/home/user/hadoop/jdk1.8.0_1
2017-03-09 19:17:48
412
原创 hadoop学习笔记之MapReduce特性
1.计数器在MR作业中内置计数器，统计任务状态，用户可以自定义计数器以实现统计目的，这块比较简单，不是什么原理性的东西，直接略过2.排序排序是MR中比较核心的问题，MR中数据是通过排序来进行组织的。排序的效率直接影响着整个作业的运行效率i)部分排序 在Map任务执行完毕之后，写入到磁盘文件之前，对输出数据进行预排序。这样的排序是按照键进行字典排序而成，将键相同的数据组织到一起。预排序完成之后，将数
2017-03-09 16:53:47
470
原创 hadoop学习笔记之深入了解YARN
前言在经典MR架构中，JobTracker担负资源分配、任务管理等工作，当集群规模越来越大时，JobTracker将不堪重负。例如在Yahoo的集群规模达到4000个节点时，就无法再增长，严重影响了hadoop分布式处理的可伸缩性。因此在hadoop2.x版本，推出了YARN架构来解决这个问题。YARN将JobTracker中的资源分配和任务管理工作分离开来，分为ResourceManger(资源管
2017-03-09 11:39:09
336
原创 hadoop学习笔记之深入了解map-reduce
map-reduce作业map-reduce是hadoop分布式应用操作的核心，其中心思想是，基于分布式hdfs存储系统，map任务在hdfs各个节点中独立并行，对数据进行分布式处理，处理结果交由reduce任务进行整合处理。这样看来，MapReduce分布式处理的高效主要体现在map任务中。mapreduce工作时以job为单位进行，在客户端配置job相关信息类JobConf，配置完成后，JobC
2017-03-08 18:15:39
429
原创 hadoop学习笔记之zookeeper 安装配置
初识zookeeper ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 由于工程师不能很好地使用锁机制以及基于消息协调机制有时候不适合使用，因此需要一种可靠的、方便的协调服
2017-03-07 22:29:55
291
原创 hadoop学习笔记之hadoop集群安装配置
安装从hadoop官网下载hadoop安装包，解压到安装目录，安装目录最好在用户目录下，因为在用户目录下当前用户拥有直接读写权限，不用sudo也不会报权限错误，而后配置环境变量 下载地址：http://hadoop.apache.org/releases.html 官方安装文档: http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/
2017-03-07 14:25:49
369
原创 hadoop学习笔记之mapreduce 基于hbase日志数据的最频繁访问ip统计
前言本篇打算基于hbase中存储的日志信息，统计最常访问IP，得到结果jar依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.3</version> </d
2017-03-07 10:26:25
694
原创 hadoop学习笔记之flume nginx服务器安装
配置自定义repository及安装nginx1、复制原文件备份 sudo cp /etc/apt/source.list /etc/apt/source.list.bak2、编辑源列表文件sudo vim /etc/apt/source.list3、将原来的列表删除，添加如下内容 deb http://nginx.org/packages/mainline/ubuntu/ xenial ngi
2017-03-02 10:28:54
491
原创 hadoop学习笔记之初识hadoop hadoop单机版安装
安装jdk-1.8并配置1.将安装包复制到用户目录下并解压tar -zxvf 安装包名 -C .这里因为在用户目录下，可以不用sudo权限2.配置环境变量这个据我所知分为两种，分别是/etc/environment和~/.bashrc；前者是全局环境变量配置，后者是用户环境变量配置，根据需要选择编辑文件，往其中添加export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_121
2017-03-02 00:10:26
273
原创 hadoop学习笔记之前期准备 主机通过ssh连接ubuntu虚拟机
ubuntu端1.查看是否安装SSH ps -e|grep ssh 输出中含有sshd表示server启动如果什么都没有请继续安装openssh sudo apt-get install openssh-server在敲入这一指令后报错:Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavaila
2017-03-01 21:56:23
244
原创 hadoop学习笔记之前期准备 ubuntu16.04虚拟机安装、WMwareTools安装及网络配置
1.准备WMware workStation Pro 12ubuntu-16.04.1-desktop-amd64.iso2.安装(1)新建虚拟机（文件->新建虚拟机）一直往下一步即可，完成后系统将会自动启动进行安装，请耐心等待
2017-02-28 22:48:31
631
原创 spring mvc 返回字符串带双引号
spring mvc 返回字符串带双引号在spring mvc中没有直接使用默认配置，而是另外配置了json解析器代码块 <!-- 返回json 需要导入 fastjson.jar包 --> <mvc:annotation-driven> <mvc:message-converters register-defaults="false"> <!--
2016-10-08 13:23:40
11583
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人