自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 hive 多字段同时count(distinct)优化

网址:https://www.iteye.com/blog/superlxw1234-1534779 hive 多字段同时count(distinct)优化 1. 需求与现状: 源表:pcup_3month_login_dtl_mes , 记录数12亿...

2020-03-06 19:34:20 119 0

转载 Eclipse连接MySQL数据库(傻瓜篇)

网址:https://www.cnblogs.com/caiwenjing/p/8079227.html我的环境:MySQL:mysql-essential-5.1.51-win32     jdbc驱动:我已经上传到csdn上一个:http://download.csdn.net/source/...

2018-04-25 09:55:18 134 0

原创 SQL规范与数据倾斜

一.SQL规范1、SQL编写规范逗号放字段前面对用到的表都用子查询的形式,并且只取需要用到的字段缩进(select/from/where …and …/group by/order by/join/on…)符号前后留空格对一些复杂的逻辑和需要注意的点加上注释说明别名 同级用1、2、3...区分(如...

2018-04-17 09:58:45 1186 0

转载 mac上使用crontab周期性执行python脚本

网址:https://www.cnblogs.com/Ohero/p/5230246.html这个月买了本书《Linux系统命令及Shell脚本实践指南》, 看到了一个周期性执行任务cron.顿时产生一个想法: mac上有这种机制么?加上自己也在15年下半年也学了点python脚本,哈哈,顿时就产...

2018-04-12 18:13:00 201 0

转载 VC维的来龙去脉

http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4%E7%9A%84%E6%9D%A5%E9%BE%99%E5%8E%BB%E8%84%89/?from=timeline&isappinstalled=0目录:...

2018-03-04 17:32:30 190 0

转载 Hive 窗口函数、分析函数

网址:https://www.cnblogs.com/skyEva/p/5730531.html 1 分析函数:用于等级、百分点、n分片等 Ntile 是Hive很强大的一个分析函数。 可以看成是:它把有序的数据集合 平均分配 到 指定的数量(num)个桶中, 将桶号分配给每...

2018-01-31 09:52:28 125 0

转载 "=>" 在scala 中的用法

例一:《Spark大数据处理技术》程序2-25 val compareElement:((String,Int),(String,Int)) => (String,Int) = (val1,val2) => { if (val1._2 >= val2._2){  val1 ...

2018-01-23 09:23:00 3746 0

转载 Intelli IDEA创建包目录

网址:https://jingyan.baidu.com/article/e5c39bf5d8abc039d660335f.html首先,给大家看一下我生成的错误的包路径。本来是想生成一个user包,下面有2个包,action 和 dao。但是实际生成的却是这个样子。见下图。接下来我们看看正确的方...

2018-01-18 16:44:22 932 0

转载 当我们说Go语言的时候,我们在说些什么?

网址: https://mp.weixin.qq.com/s?__biz=MzA3MDg0MjgxNQ==&mid=2652392146&idx=1&sn=e3ebcdb53365d438505e92f6d2c0c04d&chksm=84da4a02b3adc31...

2018-01-15 09:29:51 162 0

转载 数据倾斜

网址:https://zhidao.baidu.com/question/714457915663857445.html 触发shuffle的常见算子:distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartitio...

2018-01-14 22:04:08 235 0

转载 PG、GP与MySQL的特点和区别

网址:https://www.cnblogs.com/Vvvolcano/p/7146636.html?utm_source=itdadao&utm_medium=referral PostgreSQL数据库 介绍:PostgreSQL是一种运行在Unix和Linux操作系...

2018-01-12 17:16:36 2032 0

原创 intellij-IDE运行Java程序报错:java: -source 1.5 中不支持 lambda 表达式

报错: 解决: 第一步修改: 第二步修改:

2017-12-29 15:04:15 1673 0

原创 使用PyCharm配置Spark的Python开发环境

网址1:http://blog.tomgou.xyz/shi-yong-pycharmpei-zhi-sparkde-pythonkai-fa-huan-jing.html 网址2:http://itgrocery.cn/2017/03/01/%E5%88%A9%E7%94%A8-PyCharm...

2017-12-26 16:00:33 8139 3

转载 Spark注册UDF函数,用于DataFrame DSL or SQL

网址:https://www.cnblogs.com/wwxbi/p/6798384.html import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions._   obje...

2017-12-11 16:06:32 599 0

转载 mysql中游标的使用案例详解

网址:http://blog.csdn.net/xushouwei/article/details/52201360 1.游标是啥玩意? 简单的说:游标(cursor)就是游动的标识,啥意思呢,通俗的这么说,一条sql取出对应n条结果资源的接口/句柄,就是游标,沿着游标可以一次取出一行...

2017-12-01 11:01:48 173 0

原创 hodoop中使用MapReduce实例

网址:http://eric-gcm.iteye.com/blog/1807468           https://www.cnblogs.com/hehaiyang/p/4484442.html 一、类:WordCount package com.wave; import java...

2017-11-23 16:46:06 206 0

转载 Linux下 su命令与su - 命令有什么区别?

网址:https://zhidao.baidu.com/question/156103424.html Linux中切换用户的命令是su或su -。su命令和su -命令最大的本质区别就是:前者只是切换了root身份,但Shell环境仍然是普通用户的Shell;而后者连用户和Shell环境一...

2017-10-25 21:41:00 1157 0

转载 regexp_extract 正则表达式过滤

网址1:http://blog.sina.com.cn/s/blog_a18b33080102wsdw.html 网址2:http://blog.csdn.net/jv_rookie/article/details/55211955 函数描述: regexp_extract(str, reg...

2017-06-30 15:44:05 5160 0

转载 合并一个文件夹下多个文件内容的单行shell命令

转载网址:http://www.shangxueba.com/jingyan/1898710.html 合并一个文件夹下多个文件内容:    复制代码代码如下:    find -name "*.log" -exec 'cat' {} \; >...

2017-06-17 11:08:40 353 0

转载 Windows平台下kafka环境的搭建

Windows平台下kafka环境的搭建 一、Kafka配置:  参考网址: http://www.2cto.com/net/201701/588235.html  准备工作: 1.安装jdk环境 http://www.oracle.com/technetwork/java/javase/down...

2017-04-13 10:01:59 5187 0

转载 cvCaptureFromFile读取视频文件失败

cvCaptureFromFile不能打开一些视频文件这个问题跟video codec相关。 我一般只使用xvid codec,从这儿http://www.xvidmovies.com/codec/下载xvid codec安装后,就可以读写xvid视频了。

2017-01-23 16:14:01 1234 0

转载 详解卷积神经网络

网址:http://mp.weixin.qq.com/s?__biz=MzA5ODUxOTA5Mg==&mid=2652550746&idx=2&sn=6ef49af97e5d78757f9e642653745f4e&chksm=8b7e4701bc09ce1711...

2016-12-13 08:30:44 155 0

转载 Elasticsearch 权威指南(中文版)

网址:http://es.xiaoleilu.com/

2016-12-12 15:18:50 557 0

转载 Hadoop平台中SQL优化的四个思路

网址: http://mp.weixin.qq.com/s?__biz=MzA4ODExNDExNw==&mid=2649952640&idx=1&sn=57e7f3ea720670c9f109549581b2986e&chksm=8828a72abf5f2e3c...

2016-12-08 08:34:22 157 0

转载 快速认识ELK中的L - Logstash

网址:http://mp.weixin.qq.com/s?__biz=MzA4Nzc4MjI4MQ==&mid=2652402392&idx=1&sn=a8ffef741a4f1d6b3255069c2eaef91a&chksm=8bd8f43ebcaf7d28b7...

2016-12-08 08:33:22 276 0

转载 Apache kafka 工作原理介绍

网址: http://mp.weixin.qq.com/s?__biz=MzA5ODM5MDU3MA==&mid=2650862248&idx=1&sn=45e7f19b411be46622c61cda8a71f922&chksm=8b6615edbc119cfb...

2016-12-08 08:32:28 417 0

转载 保持简单:Uber流处理架构演进的四字箴言 | 附124页PPT下载

网址:http://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=2650992977&idx=1&sn=24e81c309fca42124fa3f15232464fd5&mpshare=1&scene=1&am...

2016-12-08 08:31:17 208 0

转载 Hadoop新手学习指导

转载网址:1.http://www.bi168.cn/thread-12741-1-1.html                     2.http://www.bi168.cn/thread-12748-1-1.html 1. 零基础学习hadoop,没有想象的那么困难,也没有想...

2016-08-30 20:41:08 221 0

转载 学习hadoop学什么?

转载网址:http://www.bi168.cn/thread-12847-1-1.html 大数据依然是火的不要不要的,作为大数据基础的hadoop自然也会备受重视,那么Hadoop的使用场景有哪些?小编给大家介绍下。 1,大数据量存储:分布式存储 2,日志处理:Hadoo...

2016-08-30 20:13:17 523 0

转载 spark 调用saveAsTextFile 报错NullPointerException

解决方法:1.http://www.cnblogs.com/likai198981/p/4123233.html                     2.http://www.myexception.cn/cloud/1976385.html 写了很简单的一段spark代码,将结果保存...

2016-08-29 11:01:26 3366 2

转载 DataNode不能启动

转载网址:http://blog.csdn.net/cai5/article/details/25902731 DataNode不能启动: 在客户端日志显示 namenode namespaceID = 1713611278; datanode namespaceID = 5965...

2016-08-23 11:42:10 234 0

转载 OpenCV 2.4.6在VS2010的重编译 (OpenCV 源代码 查看)

转载网址:http://bbs.csdn.net/topics/390907756 1, 软件准备: 1-1,cmake-2.8.12.2-win32-x86.exe  1-2,OpenCV-2.4.6.0.exe  1-3,VS2010  2, OpenCV 2.4.6重编译过...

2015-12-07 20:15:34 678 0

转载 反向传播神经网络极简入门

转载网址:http://www.hankcs.com/ml/back-propagation-neural-network.html 我一直在找一份简明的神经网络入门,然而在中文圈里并没有找到。直到我看到了这份162行的Python实现,以及对应的油管视频之后,我才觉得这就是我需要的极简入门...

2015-11-09 14:47:05 753 0

原创 OpenCV中的HOG+SVM物体分类 hog->compute(trainImg, descriptors,Size(1,1), Size(0,0))出现bug

本人调试这篇博客->OpenCV中的HOG+SVM物体分类(网址:http://blog.csdn.net/yongshengsilingsa/article/details/7535496)出现错误。 调试报错:svm_hog.exe 中的 0x00434240 处有未经处理的异常: 0...

2015-10-15 08:46:18 2904 0

转载 Source Insight 查看opencv源码

转载网址:http://www.cnblogs.com/octobershiner/archive/2012/03/16/2400805.html      在开发的过程中,有时候我们需要研究源代码,查看源码是一个好的习惯,能帮我们学到很多的东西,比如JDK可以帮助我们理解很多设...

2015-06-18 14:57:26 1419 0

转载 KNN与K-Means的区别

转发:http://www.tuicool.com/articles/qamYZv KNN(K-Nearest Neighbor)介绍 Wikipedia上的 KNN词条 中有一个比较经典的图如下: KNN的算法过程是是这样的: 从上图中我们可以看到,图中的数据集是...

2015-01-26 19:58:14 961 0

转载 判断点在多边形内部

判断点在多边形内部 作者:hyp 微博:http://weibo.com/hhyypp 0.前言 最近不断遇到类似的几何位置问题,一直没有花时间去总结,本文总结了我常用点跟多边形的位置判断方法以及代码。希望能够对大家有所帮助。 文中所指的多边形均为凸多边形,一些描述可...

2014-08-12 12:20:36 602 0

转载 OpenCV中HOG+SVM物体分类

网址:  http://www.360doc.com/content/13/0313/11/2036337_271208986.shtml http://blog.csdn.net/yangtrees/article/details/7471222

2014-06-18 09:49:43 627 0

转载 VC文件扩展名解读大全

 VC文件扩展名解读大全 .APS:存放二进制资源的中间文件,VC把当前资源文件转换成二进制格式,并存放在APS文件中,以加快资源装载速度。资源辅助文件。 .BMP:位图资源文件。 .BSC:浏览信息文件,由浏览信息维护工具(BSCMAKE)从原始浏览信息文件(.SBR)中...

2014-06-17 10:33:42 536 0

转载 快速排序c++实现

转载网址:http://www.oschina.net/code/snippet_103022_2499 快速排序c++实现 1. [代码][C/C++/Objective-C]代码      01 //2010/12/21 20:37:26...

2013-08-28 17:15:58 602 0

提示
确定要删除当前文章?
取消 删除