- 博客(10)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 不同数据库中查询前几条记录的用法(SQL Server/Oracle/Postgresql)
SQL在不同数据库中查询前几条记录的用法分类1. orACLE Select * FROM TABLE1 Where ROWNUM<=N2. INFORMIX Select FIRST N * FROM TABLE13. DB2 Select * ROW_NUMBER() OVER(ORDER BY COL1 DESC) AS ROWNUM Where ROWNUM<=N 或者Sele...
2018-05-30 20:47:10
1399
转载 spark reparation和coalesce
repartition(numPartitions:Int):RDD[T]和coalesce(numPartitions:Int，shuffle:Boolean=false):RDD[T] 他们两个都是RDD的分区进行重新划分，repartition只是coalesce接口中shuffle为true的简易实现，（假设RDD有N个分区，需要重新划分成M个分区） 1、N小于M 一般情况下N个分区有数据...
2018-05-29 17:58:45
1002
转载 Hadoop开启关闭调试信息
修改$HADOOP_CONF_DIR/log4j.properties文件 hadoop.root.logger=ALL,consoleor:开启：export HADOOP_ROOT_LOGGER=DEBUG,console关闭：export HADOOP_ROOT_LOGGER=INFO,console实时查看和修改Hadoop日志级别Hadoop的日志界面可以通过Hadoop命令和Web界面...
2018-05-29 17:38:34
2106
转载 【Spark系列2】reduceByKey和groupByKey区别与用法
在spark中，我们知道一切的操作都是基于RDD的。在使用中，RDD有一种非常特殊也是非常实用的format——pair RDD，即RDD的每一行是（key, value）的格式。这种格式很像Python的字典类型，便于针对key进行一些处理。针对pair RDD这样的特殊形式，spark中定义了许多方便的操作，今天主要介绍一下reduceByKey和groupByKey，因为在接下来讲解《在sp...
2018-05-22 18:02:30
1109
原创 在深度学习中如何获取特征权重
对于浅层神经网络，例如只有一层或者只有一个隐层的情况，可以将每个特征对应的权重累加对比去掉某个特征，训练，看离线效果变化幅度（费时费力）用GBM等gbdt模型重新训练并计算特征权重来近似（简单易行）给定一个minibatch 计算每一个样本上该特征的梯度（用反向传播计算，并且特征要做归一化，否则绝对值大的特征梯度会小），累加就得到了该特征的权重（相对准确）另外其实对于复杂深度网络通常是不讲特征权重...
2018-05-18 16:59:43
5914
转载 CS231n课程笔记翻译：反向传播笔记
译者注：本文智能单元首发，译自斯坦福CS231n课程笔记Backprop Note，课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成，堃堃和巩子嘉进行校对修改。译文含公式和代码，建议PC端阅读。原文如下：内容列表：简介简单表达式和理解梯度复合表达式，链式法则，反向传播直观理解反向传播模块：Sigmoid例子反向传播实践：分段计算回传流中的模式用户向量化操作的梯度小结简介目标：...
2018-05-18 16:44:07
955
转载 从贝叶斯方法谈到贝叶斯网络
转自：http://blog.csdn.net/v_july_v/article/details/409846990 引言 事实上，介绍贝叶斯定理、贝叶斯方法、贝叶斯推断的资料、书籍不少，比如《数理统计学简史》，以及《统计决策论及贝叶斯分析 James O.Berger著》等等，然介绍贝叶斯网络的中文资料则非常少，中文书籍总共也没几本，有的多是英文资料，但初学者一上来就扔给他一堆英文论文，因...
2018-05-15 10:42:08
918
转载 Spark函数之join、leftOuterJoin、rightOuterJoin和fullOuterJoin
join用于内连接。后三个函数用于类似于SQL的左、右、全连接。针对key-value形式的RDD。12345val pairRDD1 = sc.parallelize(List( ("cat",2), ("cat", 5), ("book", 4),("cat", 12)))val pairRDD2 = sc.parallelize(List( ("cat",2), ("cup"
2018-05-08 14:33:14
2808
转载 概率图模型之：贝叶斯网络
1、贝叶斯定理P(A∣B)=P(A)P(B∣A)P(B)P(A∣B)=P(A)P(B∣A)P(B)P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。 P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。 P(A)是A的先验概率或边缘概率。之所以称为”先验”是因为它不考虑任何B方面的因素。 P(B)是B的先验概率或边缘概率。 贝叶斯定理可表述...
2018-05-07 21:28:14
3767
转载 推荐给初学LSTM或者懂个大概却不完全懂的人
经常接触LSTM，GRU,RNN这些模型，对于LSTM的印象只是知道它用来解决梯度消失梯度爆炸问题，对于长距离的句子的学习效果不好的问题，而且大概知道里面是加了一些参数，加了门单元来选择忘记和记住一些信息。但是具体公式没有推过，所以理解的不够深。但是上面这篇长博文，作者真心花了很多心血来创作，写的详细，易懂，对于学习lstm有很大的帮助。读完后我觉得要理解几个门的作用，文中作者提到的三个例子恰到好...
2018-05-03 16:04:25
1010
ML step by step
2017-09-21
python 正则表达式 findall和search的问题
2015-09-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人