Spark Streaming 流计算优化记录(6)-GC优化与shuffle service 关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop
Spark Streaming 流计算优化记录(5)-分区与内存的优化 关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop
Spark Streaming 流计算优化记录(4)-时间都去哪儿了,关于调度与空转 关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop
Spark Streaming 流计算优化记录(3)-控制流量与join的地点 关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop
Spark Streaming 流计算优化记录(2)-不同时间片数据流的Join 关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop
Spark Streaming 流计算优化记录(1)-背景介绍 关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join
HDP-Hive在Ambari打开Nagios情况下OutOfMemory的问题 简述: Ambari的Nagios会不断发信息到hiveserver2的10000端口,以做健康监测,但hiveserver2的thrift会将其信息错误解读而导致OOM问题发现: 在hiveserver2所在的节点,查看/var/log/hive/hive-server2.log 发现hiveserver2会莫名其妙不断OutOfMemory: Java heap space问题排查...
HDP-Hive在Ambari打开Nagios情况下OutOfMemory的问题 简述: Ambari的Nagios会不断发信息到hiveserver2的10000端口,以做健康监测,但hiveserver2的thrift会将其信息错误解读而导致OOM问题发现: 在hiveserver2所在的节点,查看/var/log/hive/hive-server2.log 发现hiveserver2会莫名其妙不断OutOfMemory: Java heap space问题排查...
spring.data.jap调用接口时实际上做了些啥 通过AOP调用 org.springframework.data.jpa.repository.support.SimpleJpaRepositoryAOP需要经过如下interceptor[org.springframework.aop.interceptor.ExposeInvocationInterceptor, INSTANCE, (class org.springframe...
Maven杂七杂八 Maven优缺点: http://soft.zdnet.com.cn/software_zone/2009/1217/1562475.shtml http://elstage.iteye.com/blog/278832 Build:http://maven.apache.org/shared/maven-filtering/http://maven.apache....
在windows下面的Hadoop 环境搭建 wordcount 1,参考 http://hadoop.apache.org/common/docs/stable/single_node_setup.html 2,装 'Cygwin '记得安装openssh,最好干脆全部安装3,在Cygwin中的JAVA_HOME是和window的环境变量一致的,不必在CYGWIN_HOME/etc/profile中再次配置4,在HADOOP_HOME/conf/h...
JSF知识集合 About the Validation in JSF:ONE:http://stackoverflow.com/questions/6642242/how-can-i-populate-a-text-field-using-primefaces-ajax-after-validation-errors-occKeyWords:Primefaces, ajax, validat...
Godaddy创始人：成就亿万富翁的10条规则 今天，Bob Parsons有一个新的标签：亿万富翁。 私募基金KKR& Co. （Kohlberg Kravis Roberts）和银湖合伙人（ Silver Lake Partners）可能以20亿美金收购他的美国域名服务公司GoDaddy，这将使他成为最近的提供网络业务的亿万富翁。他所拥有的这家公司价值多少并不清楚。因为它是一个持股公司，并没有做太多的资金集资，它的估值可能仅...
何谓架构师 首先，何谓系统架构师？ IBM工程师的说明是： 架构师的主要责任是提供开发人员和项目经理之间的共用沟通媒体。他们负责让业务规则及需求与工程实践及限制相适应，以确保成功 中文Wiki上的说明是： 系统架构师负责设计系统整体架构，从需求到设计的每个细节都要考虑到，把握整个项目，使设计的项目尽量效率高，开发容易，维护方便，升级简单 这两个解释，加起来基本说明了系统架构师的定义。...
深入探讨Oracle函数索引 http://database.51cto.com/art/200911/164250.htmOracle还是比较常用的，于是我研究了一下Oracle函数索引，在这里拿出来和大家分享一下，希望对大家有用。1.Oracle函数索引的好处: Exp: function(column1) 如果表中有1000行，即便column1列上建有索引，索引在此时也不被使用，function会执行100...
Bugzilla与JIRA的对比 Bugzilla与JIRA的对比Judy ShenJIRA是澳大利亚Atlassian公司开发的一款不错的商业问题跟踪工具，包括bug、需求变更、评审记录等均可以在这个软件中进行管理。而Bugzilla则是一款开源免费的bug跟踪工具。在本文，我将Bugzilla和JIRA进行了对比。对比项BugzillaJIRA版权...
关注
