- 博客(61)
- 收藏
- 关注
RSS订阅原创 Flink流计算编程--在双流中体会joinedStream与coGroupedStream
Flink DataStream Join CoGroup scala
2016-06-23 15:28:46
11099
4
原创 Flink流计算编程--在WindowedStream中体会EventTime与ProcessingTime
Flink DataStream EventTime
2016-06-17 14:46:41
14701
3
原创 Apache Flink：流处理中Window的概念
Apache Flink：流处理中Window的概念1、什么是Window？有哪些用途？ 下面我们结合一个现实的例子来说明。我们先提出一个问题：统计经过某红绿灯的汽车数量之和？ 假设在一个红绿灯处，我们每隔15秒统计一次通过此红绿灯的汽车数量，如下图： 可以把汽车的经过看成一个流，无穷的流，不断有汽车经过此红绿灯，因此无法统计总共的汽车数量。但是，我们可以换一种思路，每隔15秒，我们都将与
2016-06-07 16:09:55
10141
1
原创 Spark为什么快？
Spark SQL比Hadoop Hive快，是有一定条件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎还比Spark SQL的引擎更快。其实，关键还是在于Spark 本身快。Spark为什么快？1、消除了冗余的HDFS读写Hadoop每次shuffle操作后，必须写到磁盘，而Spark在shuffle后不一定落盘，可以cache
2016-04-19 14:19:36
8777
原创 大数据时代，为什么使用Spark框架？
1、轻量级快速处理 Spark的快速是相当于Hadoop等其他分布式集群而言，其快速主要原因是基于内存的计算，减少了IO的操作，使用RDD可以将中间结果存放在内存或磁盘，以便之后做迭代计算时重复使用。 Spark的轻量级体现在其仅仅是一个计算框架，且提供了Spark SQL、Spark Streaming、MLLib以及Graph X等框架，这些框架提供了轻量级的API来处理数
2016-04-19 13:54:57
4497
原创 Oracle函数之聚合函数---1、关于grouping与grouping_id
1、作用grouping与grouping_id都是和group by rollup或group by cube同时出现的，实现了小计与总计的功能。2、引入此函数目的在小计与总计的字段，往往是NULL值，因此不容易区分并且写SQL时不美观且麻烦。3、注意grouping与grouping的字段，必须是group by的字段；与rollup或cube关键字一同出现；当字段
2015-03-09 17:05:42
3322
原创 2015年2月份，世界足联最新排名
排名国家所属大洲所在大州排名1德国2阿根廷3哥伦比亚4比利时5荷兰6巴西7葡萄牙8法国9乌拉圭10西班牙11瑞士12意大利13哥斯达黎加14智利15
2015-02-13 12:02:54
1018
原创 系统性能监控工具
本文介绍基于unix系统的主要监控工具。一：监控的基本知识l 监控CPU使用率只要cpu使用率没有达到100%，就表示系统还有能力支持更多的活动。Cpu使用率达到峰值很常见（例如90%），但目的是要找出那些进程过分使用了cpu。Cpu的使用需要注意一下3个问题：1. 用户使用与系统使用之比。如果系统使用cpu比例过大，则需要仔细检查这个问题。2.
2014-08-01 14:51:13
1004
原创 oracle11g下清理临时表空间
维护的一个生产数据库，被“集中监控”软件监控到临时表空间使用率100%，需要清理。于是，想到了添加临时文件的方法。但是想到原临时文件temp01.dbf已经用掉了2GB，想一并清理这个文件，用到了shrink特性，释放了空间。1:cha
2014-06-23 11:28:25
22274
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人