![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
知识介绍
文章平均质量分 84
佛空如水
这个作者很懒,什么都没留下…
展开
-
hive 多字段同时count(distinct)优化
网址:https://www.iteye.com/blog/superlxw1234-1534779 hive 多字段同时count(distinct)优化1. 需求与现状:源表:pcup_3month_login_dtl_mes , 记录数12亿,文件数 300统计SQL:Sql代码in...转载 2020-03-06 19:34:20 · 4891 阅读 · 0 评论 -
hodoop中使用MapReduce实例
网址:http://eric-gcm.iteye.com/blog/1807468 https://www.cnblogs.com/hehaiyang/p/4484442.html一、类:WordCountpackage com.wave;import java.io.IOException;import java.util.StringTo原创 2017-11-23 16:46:06 · 296 阅读 · 0 评论 -
PG、GP与MySQL的特点和区别
网址:https://www.cnblogs.com/Vvvolcano/p/7146636.html?utm_source=itdadao&utm_medium=referralPostgreSQL数据库介绍:PostgreSQL是一种运行在Unix和Linux操作系统(在NT平台借助Cygnus也可以运行)平台上的免费的开放源码的关系数据库。最早是由美国加州大学伯克利分校开转载 2018-01-12 17:16:36 · 7015 阅读 · 0 评论 -
数据倾斜
网址:https://zhidao.baidu.com/question/714457915663857445.html触发shuffle的常见算子:distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等。要解决数据倾斜的问题,首先要定位数据倾斜发生在什么地方,首先是哪个stage,直接在Web UI转载 2018-01-14 22:04:08 · 362 阅读 · 0 评论 -
当我们说Go语言的时候,我们在说些什么?
网址:https://mp.weixin.qq.com/s?__biz=MzA3MDg0MjgxNQ==&mid=2652392146&idx=1&sn=e3ebcdb53365d438505e92f6d2c0c04d&chksm=84da4a02b3adc3143b6fc45348af847f32820385d048ae0c3937013f8956befe73c6fcc0407e&mpsha转载 2018-01-15 09:29:51 · 284 阅读 · 0 评论 -
"=>" 在scala 中的用法
例一:《Spark大数据处理技术》程序2-25val compareElement:((String,Int),(String,Int)) => (String,Int) = (val1,val2) => {if (val1._2 >= val2._2){ val1} else { val2}}注释:1、用val定义函数2、compareElemen转载 2018-01-23 09:23:00 · 4228 阅读 · 0 评论 -
Hive 窗口函数、分析函数
网址:https://www.cnblogs.com/skyEva/p/5730531.html1 分析函数:用于等级、百分点、n分片等Ntile 是Hive很强大的一个分析函数。可以看成是:它把有序的数据集合 平均分配 到 指定的数量(num)个桶中, 将桶号分配给每一行。如果不能平均分配,则优先分配较小编号的桶,并且各个桶中能放的行数最多相差1。语法是:转载 2018-01-31 09:52:28 · 245 阅读 · 0 评论 -
Intelli IDEA创建包目录
网址:https://jingyan.baidu.com/article/e5c39bf5d8abc039d660335f.html首先,给大家看一下我生成的错误的包路径。本来是想生成一个user包,下面有2个包,action 和 dao。但是实际生成的却是这个样子。见下图。接下来我们看看正确的方法怎么生成。比如,我们在src下生成想要的包路径。第一步:先新建一个user.dao(这个目录可以一次转载 2018-01-18 16:44:22 · 2509 阅读 · 0 评论 -
VC维的来龙去脉
http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4%E7%9A%84%E6%9D%A5%E9%BE%99%E5%8E%BB%E8%84%89/?from=timeline&isappinstalled=0目录:说说历史Hoeffding不等式Connection to Learning学习可行的两个核心条件Effect...转载 2018-03-04 17:32:30 · 338 阅读 · 0 评论 -
SQL规范与数据倾斜
一.SQL规范1、SQL编写规范逗号放字段前面对用到的表都用子查询的形式,并且只取需要用到的字段缩进(select/from/where …and …/group by/order by/join/on…)符号前后留空格对一些复杂的逻辑和需要注意的点加上注释说明别名 同级用1、2、3...区分(如 t1、t2、t3)2.规范的好处规范的好处逻辑结构清晰便于调试便于模块化处理美观,条理清楚3.误区觉...原创 2018-04-17 09:58:45 · 4112 阅读 · 0 评论 -
mac上使用crontab周期性执行python脚本
网址:https://www.cnblogs.com/Ohero/p/5230246.html这个月买了本书《Linux系统命令及Shell脚本实践指南》, 看到了一个周期性执行任务cron.顿时产生一个想法: mac上有这种机制么?加上自己也在15年下半年也学了点python脚本,哈哈,顿时就产生了这个想法“mac上使用crontab周期性执行python脚本”,不得不说网络是给力的,居然还真有...转载 2018-04-12 18:13:00 · 560 阅读 · 0 评论 -
Eclipse连接MySQL数据库(傻瓜篇)
网址:https://www.cnblogs.com/caiwenjing/p/8079227.html我的环境:MySQL:mysql-essential-5.1.51-win32 jdbc驱动:我已经上传到csdn上一个:http://download.csdn.net/source/3451945 Eclipse:任意版本,免费的,可以百度的到。1。MySQL安装,不会的朋友...转载 2018-04-25 09:55:18 · 343 阅读 · 0 评论 -
mysql中游标的使用案例详解
网址:http://blog.csdn.net/xushouwei/article/details/522013601.游标是啥玩意?简单的说:游标(cursor)就是游动的标识,啥意思呢,通俗的这么说,一条sql取出对应n条结果资源的接口/句柄,就是游标,沿着游标可以一次取出一行。我给大家准备一张图:2.怎么使用游标?//1.声明/定义一个游标declare转载 2017-12-01 11:01:48 · 308 阅读 · 0 评论 -
Windows平台下kafka环境的搭建
Windows平台下kafka环境的搭建一、Kafka配置: 参考网址:http://www.2cto.com/net/201701/588235.html 准备工作:1.安装jdk环境http://www.oracle.com/technetwork/java/javase/downloads/index.html 2.下载kafka的程序安装包http://ka转载 2017-04-13 10:01:59 · 5482 阅读 · 0 评论 -
OpenCV中HOG+SVM物体分类
网址:http://www.360doc.com/content/13/0313/11/2036337_271208986.shtmlhttp://blog.csdn.net/yangtrees/article/details/7471222转载 2014-06-18 09:49:43 · 827 阅读 · 0 评论 -
判断点在多边形内部
判断点在多边形内部作者:hyp微博:http://weibo.com/hhyypp0.前言最近不断遇到类似的几何位置问题,一直没有花时间去总结,本文总结了我常用点跟多边形的位置判断方法以及代码。希望能够对大家有所帮助。文中所指的多边形均为凸多边形,一些描述可能有误,欢迎指正。1.测试的多边形在开始之前,我们需要先构建好测试环境。我构建了一个比较特转载 2014-08-12 12:20:36 · 747 阅读 · 0 评论 -
KNN与K-Means的区别
转发:http://www.tuicool.com/articles/qamYZvKNN(K-Nearest Neighbor)介绍Wikipedia上的 KNN词条 中有一个比较经典的图如下:KNN的算法过程是是这样的:从上图中我们可以看到,图中的数据集是良好的数据,即都打好了label,一类是蓝色的正方形,一类是红色的三角形,那个绿色的圆形是我们待分类的转载 2015-01-26 19:58:14 · 1585 阅读 · 0 评论 -
Source Insight 查看opencv源码
转载网址:http://www.cnblogs.com/octobershiner/archive/2012/03/16/2400805.html 在开发的过程中,有时候我们需要研究源代码,查看源码是一个好的习惯,能帮我们学到很多的东西,比如JDK可以帮助我们理解很多设计模式在实际开发中的应用,又或者android开发者,源代码更是必不可少的,当我们看代码的时候总会有各转载 2015-06-18 14:57:26 · 1823 阅读 · 0 评论 -
反向传播神经网络极简入门
转载网址:http://www.hankcs.com/ml/back-propagation-neural-network.html我一直在找一份简明的神经网络入门,然而在中文圈里并没有找到。直到我看到了这份162行的Python实现,以及对应的油管视频之后,我才觉得这就是我需要的极简入门资料。这份极简入门笔记不需要突触的图片做装饰,也不需要赘述神经网络的发展历史;要推导有推导,要代码有代转载 2015-11-09 14:47:05 · 1123 阅读 · 0 评论 -
OpenCV 2.4.6在VS2010的重编译 (OpenCV 源代码 查看)
转载网址:http://bbs.csdn.net/topics/3909077561, 软件准备:1-1,cmake-2.8.12.2-win32-x86.exe 1-2,OpenCV-2.4.6.0.exe 1-3,VS2010 2, OpenCV 2.4.6重编译过程:2-1,OpenCV-2.4.6.0解压缩,设解压缩目录为F:\opencv_extract.转载 2015-12-07 20:15:34 · 786 阅读 · 0 评论 -
运动估计与运动补偿
原文地址:http://blog.sina.com.cn/s/blog_4b700c4c0100nhgo.html运动补偿是通过先前的局部图像来预测、补偿当前的局部图像,它是减少帧序列冗余信息的有效方法。运动估计是从视频序列中抽取运动信息的一整套技术。运动估计与运动补偿技术 MPEG-4采用I-VOP、P-VOP、B-VOP三种帧格式来表征不同的运动补偿类型。它采用了H.26转载 2013-01-07 16:50:04 · 1048 阅读 · 0 评论