Nieson2012的专栏_夜空骑士_CSDN博客-数据分析,数据挖掘,人工智能领域博主

原创【知识图谱】Neo4j的基本使用及思知1.4亿三元组数据构建知识图谱

目录0、前言1、Neo4j的基本使用1.1 下载和安装Neo4j1.2 Neo4j配置1.2.1 核心数据文件的位置1.2.2 安全验证，默认是启用的1.2.3 配置JAVA 堆内存的大小1.3 网络连接配置1.3.1 Neo4j支持三种网络协议（Protocol）1.3.2 连接器的可选属性1.3.3 设置默认的监听地址1.3.4 分别设置各个网络...

2019-10-29 19:16:22 5229 4

原创【Docker】Dockerfile用法详解

制作Docker image 有两种方式：一是使用 Docker container，直接构建容器，再导出成 image 使用；二是使用 Dockerfile，将所有动作写在文件中，再 build 成 image。Dockerfile 的方式非常灵活，推荐使用。一.Dockerfile 基本结构一般的，Dockerfile 分为四部分：基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令。’#’ 为 Dockerfile 中的注释。先看下面一个小例子：# This my first...

2020-06-16 17:15:35 118

原创【Docker】一文掌握全部Docker常用命令

导航目录1.docker images: 查看镜像2.docker run: 创建一个新的容器并运行一个命令3. docker create: 创建一个新的容器但不启动它4.docker stop: 停止一个运行的容器5.docker restart: 重启一个容器6.docker start: 启动一个被停止的容器7.docker ps : 列出容器9.docker exec: 进入一个运行中的容器执行命令10. docker rm: 删除一个容器11.docker

2020-06-11 15:40:08 107

原创【深度学习】百度飞桨PaddlePaddle-CV疫情特辑课程学习心得

最近参加了百度AI Studio的深度学习7日入门-CV疫情特辑课程，通过课程来入手学习深度学习框架-PaddlePaddle，同时学习深度学习的相关网络模型，本博客分享在学习过程中的一些心得。1、通过对该课程的学习，首先了解了PaddlePaddle深度学习框架，然后在本地进行了安装使用；飞桨本地安装可参考飞桨官网：https://www.paddlepaddle.org.cn/docume...

2020-04-07 17:59:42 801

原创【深度学习】通俗易懂讲解循环神经网络LSTM

目录1、循环神经网络（Recurrent Neural Networks）2、长依赖存在的问题3、LSTM 网络4、LSTMs的核心思想5、一步一步理解LSTM6、LSTM的变种7、总结1、循环神经网络（Recurrent Neural Networks）人对一个问题的思考不会完全从头开始。比如你在阅读本片文章的时，你会根据之前理解过的信息来理解下面看到的文字。...

2020-03-27 22:48:09 504

转载【机器学习】一文详解GBDT、Xgboost、Boosting与Bagging之间的区别

GBDT与Xgboost的区别N问GBDT 1. 怎么设置单棵树的停止生长条件？ 2. 如何评估特征的权重大小？ 3. 当增加样本数量时，训练时长是线性增加的吗？ 4. 当增加树的颗数时，训练时长是线性增加的吗？ 5. 每个节点上保存什么信息？ 6.如何防止过拟合？ 7. gbdt 在训练和预测的时候都用到了步长，这两个步长一样么？ 8. gbdt中哪些部分可以...

2020-03-27 21:59:18 284

原创【NLP】从WE、ELMo、GPT到Bert模型—自然语言处理中的预训练技术发展史

Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，创新不算大。但是架不住效果太好了，基本刷新了很多NLP的任务的最好性能，有些任务还被刷爆了，这个才是关键。另外一点是Bert具备广泛的通用性，就是说绝大部分NLP任务都可以采用类似的两阶段模...

2020-02-21 21:23:33 533

原创【NLP】词向量：从word2vec、glove、ELMo到BERT详解！

目前，词向量（又叫词嵌入word embedding）已经成为NLP领域各种任务的必备一步，而且随着bert elmo,gpt等预训练模型的发展，词向量演变为知识表示方法，但其本质思想不变。学习各种词向量训练原理可以很好地掌握NLP各种方法。生成词向量的方法有很多种，本文重点介绍word2vec,glove和bert。各种词向量的特点：One-hot：维度灾难 and 语义鸿沟；...

2020-02-17 16:35:44 1178

原创【深度学习】深度学习中常用的激活函数

深度学习中常用的的激活函数包括了：sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign、softplus。激活函数可以分为两大类：饱和激活函数：sigmoid、 tanh 非饱和激活函数:ReLU 、Leaky Relu 、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】相对于饱和激活函数，使用“非...

2019-11-18 17:41:49 271

原创【深度学习】卷积神经网络发展史从LeNet到AlexNet

本文主要讨论CNN的发展，并且引用刘昕博士的思路，对CNN的发展作一个更加详细的介绍，将按下图的CNN发展史进行描述：上图所示是刘昕博士总结的CNN结构演化的历史，起点是神经认知机模型，此时已经出现了卷积结构，经典的LeNet诞生于1998年。然而之后CNN的锋芒开始被SVM等手工设计的特征盖过。随着ReLU和dropout的提出，以及GPU和大数据带来的历史机遇，CNN在2012年迎来了...

2019-11-11 20:12:14 1362

原创【知识图谱】知识图谱的基础概念与构建流程

目录1、引言2、知识图谱的定义3、知识图谱的架构3.1知识图谱的逻辑结构3.2知识图谱的体系架构4、代表性知识图谱库5、知识图谱构建的关键技术5.1 知识提取5.2 知识表示5.3 知识融合【导读】知识图谱技术是人工智能技术的组成部分，其强大的语义处理和互联组织能力，为智能化信息应用提供了基础。我们专知的技术基石之一正是知识图谱-构建AI知识体系-专...

2019-11-09 18:49:39 1528 1

原创【知识图谱】Neo4j 导入数据构建知识图谱的三种方法

目录Neo4j数据导入5种方式1、使用Cypher语言创建1.1 创建节点【create】1.2 修改节点的属性1.3创建带属性值的节点1.4 创建节点间的关系1.5 其他操作命令1.6 cypher查询语言的使用规律2、使用load csv导入数据2.1构建容器(非必须)2.2 导入节点csv文件2.3 创建索引并删除重复节点2.4 导入关...

2019-10-30 18:27:29 2462 1

原创【知识图谱】解读知识图谱的技术与应用

导读：从一开始的Google搜索，到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统，无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。本文以通俗易懂的方式来讲解知识图谱相关的知识、尤其对从零开始搭建知识图谱过程当中需要经历的步骤以及每个阶段需要考虑的问题都给予了比较详细的解释。对于读者，我们不要求有任何AI相关的背景知识。目录：概论什么是知识图谱知...

2019-09-11 10:39:22 374

原创【知识图谱】从六个方面解析知识图谱的价值和应用

知识对于人工智能的价值就在于，让机器具备认知能力和理解能力。构建知识图谱这个过程的本质，就是让机器形成认知能力，理解这个世界。一、知识图谱无处不在说到人工智能技术，人们首先会联想到深度学习、机器学习技术；谈到人工智能应用，人们很可能会马上想起语音助理、自动驾驶等等，各行各业都在研发底层技术和寻求AI场景，却忽视了当下最时髦也很重要的AI技术：知识图谱。当我们进行搜索时，搜...

2019-09-10 16:23:46 277

原创【知识图谱】Neo4j图形数据库——数据清除与数据迁移

目录一、删除数据方案方案1、我们可以通过以下查询删除所有节点和关系：方案2、我们可以删除所有有关系的节点：方案3、删除graph.db数据库文件：1. 关闭Neo4j服务器进程2. 删除graph.db数据库文件3. 重新启动Neo4j服务器4. 连接Neo4j Browser重设密码二、数据迁移导入导出关闭Neo4j：数据导出：数据导入：重启服...

2019-09-03 11:47:55 1243

原创树莓派4B如何安装Neo4j图形数据库

1、什么是neo4j数据库？neo4j数据库是图数据库的一种，属于nosql的一种，常见的nosql数据库还有redis、memcached、mongDB等，不同于传统的关系型数据库，nosql数据也有其独特之处，例如图数据库，在处理对象（在图数据库中称为节点）之间的关系的能力要远高于传统的关系型数据库。2、neo4j优势作为非关系型数据库中的图数据库，neo4j的使用较为广泛，neo...

2019-08-29 20:11:54 359

原创树莓派4B新手篇：安装官网Raspbian Buster系统及基础配置

目录1、前言2、树莓派4B有什么特色？3、树莓派新手准备4、烧录Raspbian Buster系统到Micro SD卡开启SSH及配置无线连接5、启动安装树莓派系统启动树莓派6、树莓派的基本配置6.1 系统配置6.2 更改apt软件源与系统源6.3 更改pip源6.4 安装远程桌面6.5 安装中文字体1、前言对于很多程序员而言，树莓派如今...

2019-08-19 20:05:31 45710 15

原创树莓派4B最常用的 Linux 命令及说明

对于 Linux 新手来说，使用 Raspbian 系统会遇到比较棘手的问题，其中之一就是对各种 Linux 命令的学习。本文整理了一份常用的 Linux 命令及说明，供初学者对照学习。命令在哪里输入？通过 SSH 客户端登录你的树莓派，或者进入树莓派的桌面运行终端程序，接下来就可以输入命令了。什么是 sudo 命令？在一行命令之前加上 sudo，表示以系统管理员身份执行这条命令。如果...

2019-08-19 11:12:47 1164 1

原创一根网线将树莓派4B直连笔记本电脑的方法

当我们为新买来的树莓派刷上系统之后，如何将树莓派和笔记本电脑连接到同一网络使用SSH工具登录树莓派呢？相信大多数人的做法是将树莓派连接到路由器上，然后通过SSH工具（putty，SecureCRT等）远程登录，但如果你没有显示器和HDMI线，那么，这里介绍如何使用一根网线来连接树莓派。准备材料1、树莓派2、已经刷入系统的SD卡3、一根网线4、一个已经连接互联网的笔记本5、usb网口...

2019-08-19 10:59:30 9509 3

原创自动语音识别ASR入门介绍

GMM + HMM应用场景，做输入法，输入一段话，变成文字，智能地往里面加标点符号。特征提取最常用MFCC一帧frame信号，通常20-50ms（2-3个周期，人说话频率100Hz），一个音素之内。音素：音标的一个音，比如ei、si等MFCC维度越高，幅度越小，13维最好。孤立词识别对每一帧（有用信息：音色（包络））进行傅立叶变换 ➡️三角滤波得到filterbank ...

2019-07-24 19:28:37 2533

原创语音识别技术的前世今生【今生篇】

目录1.前馈神经网络1.1Tandem结构1.2 Hybrid结构2.循环神经网络2.1 CTC2.2 Graphheme系统2.3 注意力机制3 语音识别之未来3.1 语音识别的现状3.2 语音识别的未来参考文献：1.前馈神经网络近几年深度学习的技术非常火，我们平时所说的深度学习主要是指深度神经网络，神经网络是一种监督学习的技术。神经网...

2019-07-22 18:50:08 624

原创语音识别技术的前世今生【前世篇】

目录1.背景2.孤立词识别2.1 特征提取2.2 动态弯算法2.3 GMM(Gaussian mixture model)2.4 HMM(Hidden markov model)2.5 EM训练算法2.6 语音识别基本方程3.连续语音识别3.1 语言模型3.2 大词汇量3.3 语音识别系统结构3.4 评价指标：WER4. 潘多拉魔盒4.1...

2019-07-22 16:04:42 2808 4

原创 Python3从零开始搭建一个语音对话机器人

从零开始搭建一个语音对话机器人目录01-初心缘由02-准备工作03-语音机器人的搭建思路04-语音生成音频文件05-音频文件转文字STT06-与图灵机器人对话07-文字转语音08-语音对话机器人的完整代码09-结束语10-有问必答01-初心缘由最近在研究语音识别方向，看了很多的语音识别的资料和文章，了解了一下语音识别的前世今生，其...

2019-07-19 17:00:20 20281 99

转载 keras-yolov3 + Kalman-Filter 进行人员多目标追踪

文章目录1 yolov3 + Kalman filter 多目标跟踪2 keras-yolov3 + kalman filter的笔者的一些微调 2.1 KF算法微调 2.2 keras-yolov3的detector微调3 keras-yolov3-KF的代码解析1、yolov3 + Kalman filter 多目标跟踪先来看...

2019-07-17 10:57:42 540

原创语音识别入门介绍

0 语音识别技术路线大致框图如上图所示，语音识别的大致过程可以分为以下几步：1、语音输入——这个过程可以通过电脑上的声卡来获取麦克风中输入的音频信号，或者直接读取电脑中已经存在的音频文件；2、音频信号特征提取——在得到音频信号之后，需要对音频信号进行预处理，然后对预处理之后的音频信号进程特征提取，MFCC是最常用的声学特征；3、声学模型处理——把语音的声学特征分类对应到音素或字词...

2019-07-12 17:44:09 1085 1

原创目标检测跟踪算法综述

运动目标跟踪是视频监控系统中不可缺少的环节。在特定的场景中，有一些经典的算法可以实现比较好的目标跟踪效果。本文介绍了一般的目标跟踪算法，对几个常用的算法进行对比，并详细介绍了粒子滤波算法和基于轮廓的目标跟踪算法。最后简单介绍了目标遮挡的处理、多摄像头目标跟踪和摄像头运动下的目标跟踪。一、一般的目标跟踪算法　　一般将目标跟踪分为两个部分:特征提取、目标跟踪算法。其中提取的目标特征大致可以分为...

2019-07-09 16:19:22 1319

原创匈牙利算法的基本原理与Python实现

一、问题描述问题描述：N个人分配N项任务，一个人只能分配一项任务，一项任务只能分配给一个人，将一项任务分配给一个人是需要支付报酬，如何分配任务，保证支付的报酬总数最小。问题数学描述：二、实例分析---全排列法在讲将匈牙利算法解决任务分配问题之前，先分析几个具体实例。以3个工作人员和3项任务为实例，下图为薪酬图表和根据薪酬图表所得的cost矩阵。　　利用最简单的方法(...

2019-07-09 15:59:01 2642 3

原创 Python+Opencv实现把图片转为视频

1. 安装Opencv包在Python命令行输入如下命令（如果你使用的Anaconda，直接进入Anaconda Prompt键入命令即可。如果你不知道Anaconda是什么，可以参考王树义老师的文章和视频：如何安装Python运行环境Anaconda）$ pip install opvencv-python2. 实现代码import osimport cv2imp...

2019-07-04 18:50:46 2124 2

原创 Python-OpenCV 读取和保存视频和解决保存失败的原因分析

一、安装OpenCV# 打开终端输入，没有装pip的话装上pippip install opencv-contrib-python# 打开Python交互环境，打印opencv版本import cv2print(cv2.__version__)二、读取和保存视频# coding=utf8import cv2# 1、用摄像头捕获视频# cap = cv...

2019-07-04 17:56:35 2097 1

原创 Python中各类图像库实现图像的读写操作

2019-07-04 16:36:11 211

原创带你入门多目标跟踪（四）外观模型 Appearance Model

行人跟踪作为MOT中的一个典型的问题，十分具有研究价值，本系列文章以行人跟踪为例来介绍MOT。在讲解外观模型问题前，首先需要对MOT的各个部件有一个大概的了解。在设计一种MOT算法时，有两点问题需要格外关注。一是如何测量在视频帧中各目标之间的相似性（measure similarity between objects in frames）；二是如何基于第一点测量出的相似性，进行视频中目...

2019-07-02 19:32:15 2354 1

原创带你入门多目标跟踪（三）匈牙利算法&KM算法

匈牙利算法（Hungarian Algorithm）与KM算法（Kuhn-Munkres Algorithm）是做多目标跟踪的小伙伴很容易在论文中见到的两种算法。他们都是用来解决多目标跟踪中的数据关联问题。对理论没有兴趣的小伙伴可以先跳过本文，进行下一篇的学习，把匈牙利算法这些先当作一个黑箱来用，等需要了再回过头来学习理论。但个人建议，至少要明白这些算法的目的与大致流程。如果大家用这两种算...

2019-07-02 19:30:41 5944 2

原创带你入门多目标跟踪（二）SORT&DeepSORT

上一篇文章大概给大家介绍了一下多目标跟踪MOT的一些基础知识。初次了解还是从经典的算法开始，SORT和DeepSORT是多目标跟踪中两个知名度比较高的算法。DeepSORT是原团队对SORT的改进版本。这个算法也是开源的，github上有一个DeepSORT+Yolov3的项目，初入多目标坑的小伙伴应该在搜代码的时候都看到过。本文将带大家解析一下SORT和DeepSORT的基本思路，废话不多说...

2019-07-02 19:24:49 5095 1

原创带你入门多目标跟踪（一）领域概述

现在从目标检测和单目标跟踪方向转来做多目标跟踪的小伙伴应该有不少，但由于多目标跟踪任务本身的复杂性，导致其入门会比目标检测与单目标跟踪困难不少。再加上论文分布在各个会议，开源代码较少，都造成了多目标跟踪的研究门槛较高。本文旨在带领大家入门多目标跟踪，了解多目标跟踪领域的发展概况，让大家更方便直观地理解这个问题。1. 简介多目标跟踪，即MOT（Multi-Object Tracking），顾...

2019-07-02 19:21:25 8681 3

原创 Python安装Jupyter Notebook配置使用教程

为什么要用Jupyter Notebook推荐新手写python用什么编辑器就有有人问：为什么没有Jupyter Notebook。本来想数据分析和可视化的时候才介绍的，所以没有加上。最近要截图比较多，用Jupyter Notebook可以很好看到代码和结果。Jupyter Notebook是什么Jupyter Notebook是一个开源的web应用程序,一个交互式笔记本，支持运行...

2019-07-02 17:40:54 7415 2

转载 OCR 技术浅析

随着人工智能的热度上升，图像识别这一分领域也渐渐被人们所关注。图像识别中最贴近我们生活的可能就是 OCR 技术了。可能很多同学还不知道什么是 OCR。我们先来看下 OCR 的定义：OCR （Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的...

2019-03-15 10:19:45 412

原创 Hive函数大全

一、关系运算： 1.等值比较: =语法：A=B操作类型：所有基本类型描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE举例：hive&gt;select 1 from lxw_dual where 1=1; 2.不等值比较: &lt;&gt...

2018-11-02 11:01:56 189

原创 Hive中分组取前几名及行列转换的方法

row_number()、rank()和dense_rank()这三个是hive内置的分析函数，这三个函数可以用于分组取前几名，下面我们来看看他们的区别和具体的使用案例。首先创建一个文件test：A,1B,3C,2D,3E,4F,5G,6然后创建hive表：create table test_rank(a string,b int) row format delimite...

2018-11-01 19:16:10 1086

转载 Python数据分析学习路径图

本文摘自同行说用户“风一样的男子”，原文链接：http://www.yidianzixun.com/n/0CAz84ve?s=1&amp;appid=yidian，如涉及版权问题请及时联系小编！Python是一种面向对象、直译式计算机程序设计语言，由Guido van Rossum于1989年底发明。由于他简单、易学、免费开源、可移植性、可扩展性等特点，Python又被称之为胶水语言。下图为主...

2018-10-12 15:21:07 339

转载利用Python学习数据挖掘【0】

相信看到这篇文章的你一定是对数据分析，数据挖掘有兴趣，或者想从事和方面。本文不再累述python对数据分析的重要，数据分析这门的由来之类的。在这里，我单刀直入，已我学习数据挖掘3年来的经历告诉大家怎么去学，以让大家少走弯路。纯个人见解，如有不对，还请各位留言指教。话不多说，直接放图。一学好工具python语言推荐看廖雪峰的python3教程。数据分析python基础...

2018-10-12 14:50:56 245