数据笔记

关注A(AI) B(Big Data) C(Cloud)技术

排序:
默认
按更新时间
按访问量

推荐几个值得关注的技术公众号

排名不分先后:(1)ABC技术研习社为技术人打造的专属A(AI),B(Big Data),C(Cloud)技术公众号和技术交流社群。(2)布洛卡区自然语言处理技术相关技术介绍。(3)计算广告计算广告行业及技术介绍。(4)云技术实践云计算技术汇总及社群。...

2018-03-25 09:49:55

阅读数:968

评论数:0

深度学习-问题模型优化

技术是随着问题而产生的,如果不从要解决问题的角度出发应用技术,最终会演化为技术堆砌,并由于每个技术点的副作用进而引起新的问题。 以问题驱动的方式总结常用的模型训练方法和这些训练方法要解决的问题。 这些训练方法一般在论文中都能找到这些较为常用的配置,将分为两个部分,一个部分是CNN,一个部分是R...

2018-08-17 17:00:45

阅读数:11

评论数:0

机器学习-决策树算法

1 决策树 决策树是一种能解决分类或回归问题的机器学习算法。 其有良好的扩展性,可以产生多种变种。 并且结合模型融合方法扩展新的算法AdaBoost,GBDT等算法。   参考文章: C4.5算法详解(非常仔细):https://blog.csdn.net/zjsghww/articl...

2018-08-10 10:45:46

阅读数:21

评论数:0

机器学习-Python自然语言处理库

自然语言处理的库非常多,下面列举一些对Python友好,简单易用,轻量,功能又全的库。 1 中文 中文自然语言处理工具评测:https://github.com/mylovelybaby/chinese-nlp-toolkit-test awesome: https://github.com...

2018-08-06 17:31:54

阅读数:9

评论数:0

NLP-词和文档向量化方法

0 为什么要向量化? 向量化文本就可以将一些文本处理问题转换为机器学习问题: 0.1 机器学习问题:文本分类,文本聚类,情感分析等,输入到seq2seq等模型需要数字化的词的表示形式。 0.2 文本、关键词检索问题(算相似度):关键词搜索,文档检索等 计算机去理解文本的语义核心在于通过词和...

2018-08-06 17:25:02

阅读数:24

评论数:0

机器学习-向量检索+存储格式技术

(1) 向量相似性检索 算向量相似度在很多算法中都有应用,对大规模服务来说,如何加速向量检索与相似度计算 是非常有价值的。 应用场景: 1 机器学习算法内部步骤:KNN, K-means 2 向量相似搜索:图像检索,word关键词检索   下面列出了其中的一些方式和方法: 两个问题...

2018-08-03 12:06:52

阅读数:37

评论数:0

机器学习-Bias-Variance

对Bias和Variance的来源的解释 Bias:来源于训练集中没有的,测试集中存在的data产生的。 Variance:来源于训练集里有的,但是测试集里没有的,且不应该属于ground truth的data(这里其实有个假设:就是test data认为是没有噪音的,完全是ground tru...

2018-08-01 17:30:29

阅读数:22

评论数:0

工程细节-上手一门语言-并制作一个服务-需要考虑哪些方面?

开源越来越流行,所接触的语言也越来越多,如何快速上手一门语言与能够工程化的解决问题是很有必要的。 1 基本语法 项目 包 类 函数 循环 IF/ELSE 基本运算 变量 2 常用特性 以资源视角看待这个问题: CPU:并发与锁(同步协议) 内存:容器 磁盘:IO文件系统...

2018-07-20 17:09:31

阅读数:35

评论数:0

深度学习-增强学习概览

(1) DQN与DDPG 离散状态: DQN是一个面向离散控制的算法,即输出的动作是离散的。对应到Atari 游戏中,只需要几个离散的键盘或手柄按键进行控制。 然而在实际中,控制问题则是连续的,高维的,比如一个具有6个关节的机械臂,每个关节的角度输出是连续值,假设范围是0°~360°,归一化...

2018-07-20 11:06:48

阅读数:37

评论数:0

深度学习-物体检测概览

1 物体检测任务 输入:图像 输出: Bounding Box(回归任务):矩形边界框框出物体位置 物体类别(分类任务):判断矩形框内的物体类别 2 物体检测评测指标 2.1 Top1%和Top5%正确率 参考:https://stats.stackexchange.com/ques...

2018-07-19 18:03:20

阅读数:70

评论数:1

机器学习-机器学习常见算法时间复杂度

有了算法复杂度的估计,才有了整个算法更好的优化头绪和方向。 1. KNN 时间复杂度o(n*k):n为样本数量,k为单个样本特征的维度。如果不考虑特征维度的粒度为o(n) 空间复杂度o(n*k):n为样本数量,k为单个样本特征的维度。如果不考虑特征维度的粒度为o(n) 参考: https...

2018-07-18 17:08:51

阅读数:58

评论数:0

深度学习-End to End自动驾驶

下面内容从端到端的自动驾驶的方案看相关技术脉络:   1988年,ALVINN: An Autonomous Land Vehicle In a Neural Network    已经有人开始尝试使用End-to-End。但局限于30×32像素,还没有CNN,这样也能在简单道路上实现自动...

2018-07-18 13:51:12

阅读数:87

评论数:0

深度学习-深度学习集群管理方案

  相比之前如火如荼的大数据作业和负载以及集群硬件情况。深度学习平台的作业和硬件环境有了一些新的不同和趋势:   作业: 相比大数据作业,工作流workflow相比之前的大数据workflow来看相对简化,而将复杂DAG计算图推到了单独的深度模型中。 Training 和 Serving的...

2018-07-17 16:46:28

阅读数:53

评论数:0

机器学习-KNN算法

(1) KNN算法解决什么问题? KNN是一种机器学习算法,可以解决下面问题: 分类问题 回归问题 离群点检测   (2) KNN算法流程 计算测试数据与每个训练数据之间的距离; 按照距离的由小到大进行排序; 选取距离最小的K个点; 确定前K个点所在类别的出现频率;(回归问题求K...

2018-07-16 17:07:10

阅读数:21

评论数:0

深度学习-玩转GPU

    随着深度学习不断渗透到各个AI应用场景,越来越多的研发人员开始依赖GPU算力加速深度学习模型的训练。也有人戏称GPU为深度学习领域的核武器,虽然很多芯片公司都提供了相应的芯片解决方案,但是较为主流的方式还是选用英伟达的GPU并使用上层的CUDA和cuDNN驱动生态进行深度学习应用的开发。由...

2018-03-28 18:37:41

阅读数:335

评论数:0

深度学习-在线推断(Inference)技术

    深度学习一般分为训练和在线推断两个部分,大家平时经常关注的多为训练阶段,也就是搜索和求解模型最优参数的阶段。而当模型参数已经求解出来,如何使用模型,以及在在线环境中部署模型,也是非常重要的。    一般会比较关注其中的一些技术点:    访问延迟    吞吐量    模型版本管理    D...

2018-03-28 18:15:04

阅读数:1524

评论数:0

深度学习-深度学习开源框架汇总

随着深度学习如火如荼的发展,越来越多的深度学习框架开始涌现出来,群雄逐鹿,鹿死谁手还未确定,基于现有团队的技术沉淀和应用场景的需求,进行框架选择是较为稳妥的方案。1. TensorFlowTensorFlow是Google推出的深度学习框架,Tensorflow让用户可以快速设计深度学习网络,将底...

2018-03-28 18:03:28

阅读数:333

评论数:0

深度学习-经典CNN网络

    以下是经典的卷积神经网络结构的总结,从中我们可以了解到整个CNN的发展趋势和进化方向。LeNet:较早的深度神经网络结构。 AlexNet:相比LeNet,网络更深。使用了堆叠卷积层来做特征提取,通常是一个卷积层之后连接一个MaxPooling层,形成网络结构。 GoogLeNet:减少参...

2018-03-28 17:51:23

阅读数:148

评论数:0

笔试面试-算法刷题

    国外大部分互联网公司在笔试面试环节会考察白板或白纸写算法题,国内的很多互联网公司的开发职位也会考相应的算法题目。这里指的算法是类似“数据结构与算法”中类似的题目或一些智力题类似的题目。    为什么会考?     面试官出于短时间检验面试者Coding能力,以及目前缺乏又快又经济的检验面试...

2014-11-18 22:51:40

阅读数:934

评论数:0

大数据系统-SQL on Hadoop构建OLAP的基石

    SQL on Hadoop是泛指大规模并行SQL分析引擎,针对的是分析性应用。和其他关系型数据库或数据仓库类似,接受SQL,返回结果集。但它具有大规模并行处理很多传统数据库以及其他数据库没有的特性及功能。    系统设计者和用户比较关注其中一些技术点:接口层:是否兼容以往SQL标准,迁移以...

2014-06-21 23:53:07

阅读数:836

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭