liyongke89的专栏

数据量大约在10亿+，需要做一个即席查询，用户可以主动输入搜索条件，如时间。可提供一定的预处理时间。每天还有新数据加入。10亿+的数据对于普通的rdbms还是有些压力的，而且数据每天还在不停的增长，所以我们运用了我们的spark技术来做一个计算加速。关于增量更新的相关，我会在后续的博客中介绍。语句如下select count(*) a,b from table_a wher...

基于PB级海量数据实现数据服务平台，需要从各个不同的角度去权衡，主要包括实践背景、技术选型、架构设计，我们基于这三个方面进行了架构实践，下面分别从这三个方面进行详细分析讨论：作者：Yanjun基于PB级海量数据实现数据服务平台，需要从各个不同的角度去权衡，主要包括实践背景、技术选型、架构设计，我们基于这三个方面进行了架构实践，下面分别从这三个方面进行详细分析讨论：实践背景该数据服务...

在使用VMware Workstation(以下简称：VMware)创建虚拟机的过程中，配置虚拟机的网络连接是非常重要的一环，当我们为虚拟机配置网络连接时，我们可以看到如下图所示的几种网络连接模式：桥接模式、NAT模式、仅主机模式、自定义网络连接模式。那么这几种网络连接模式都各自有什么主要用途，它们之间又有哪些区别呢？　　磨刀不误砍柴工，为了更好地使用虚拟机，了解这几种连接模式的主要用途以...

https://www.programcreek.com/java-api-examples/index.php?project_name=monsonlee/BigData#

最近在折腾Maven和Sonatype的Nexus, 倒霉催的国内和公司网络...Nexus配合finalspeed或者kcptun倒是很给力, 但是Intellij就经常出问题, 出现红字也不动, 默认开了auto import也无效解决方式是在IDEA右侧Maven Projects面板中, 点击M图标的CMD输入mvn -U idea:idea坐等结果完成即可...

LinkedHashMap——读书笔记《Java编程的逻辑》读书笔记1. 基本用法LinkedHashMap是HashMap的子类，但是内部还有一个双向链表维护键值对的顺序，每个键值对既位于哈希表中，也位于双向链表中。LinkedHashMap支持两种顺序插入顺序 、 访问顺序插入顺序：先添加的在前面，后添加的在后面。修改操作不影响顺序访问顺序：所谓访问指的是get/put操作，对一...

堆内存划分为 Eden、Survivor 和 Tenured/Old 空间，如下图所示：从年轻代空间（包括 Eden 和 Survivor 区域）回收内存被称为 Minor GC，对老年代GC称为Major GC,而Full GC是对整个堆来说的，在最近几个版本的JDK里默认包括了对永生带即方法区的回收（JDK8中无永生带了），出现Full GC的时候经常伴随至少一次的Minor ...

https://www.cnblogs.com/Jason-Xiang/p/9808596.html

https://www.cnblogs.com/jiangxwa/p/10289411.html来源：jianshu.com/p/8ef0c5a551d3整编：公众号Java技术栈在Web应用中，HTTP请求是无状态的。即：用户第一次发起请求，与服务器建立连接并登录成功后，为了避免每次打开一个页面都需要登录一下，就出现了cookie，Session。CookieCookie...

https://www.cnblogs.com/Jason-Xiang/category/1319151.html

https://www.cnblogs.com/Leo_wl/p/7507883.html

https://blog.csdn.net/cloud_xiaobai/article/details/79376763

https://www.cnblogs.com/du-0210/p/8426624.html

.YARN：资源调度平台YARN参数解读与调优yarn-site.xml文件默认参数：http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml参数 默认值 说明 yarn.resourcemanager.address ${yarn...

https://www.cnblogs.com/mtime2004/p/9996413.htmlHadoop是什么？Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。Had...

https://blog.csdn.net/bbaiggey/article/details/53574468大数据处理离不开hadoop集群的部署和管理，对于本来硬件资源就不多的创业团队来说，做好资源的共享和隔离是很有必要的，毕竟不像BAT那么豪，那么怎么样能把有限的节点同时分享给多组用户使用而且互不影响呢，我们来研究一下yarn多队列做资源隔离请尊重原创，转载请注明来源网站www.sh...

http://www.aboutyun.com/thread-6756-1-1.html本帖最后由 howtodown 于 2014-1-31 16:00 编辑 整体架构 MRAppMaster是MapReduce的ApplicationMaster实现，它使得MapReduce计算框架可以运行于YARN之上。在YARN中，MRAppMaster负责管理MapReduc...

YARN是什么全称 Yet Another Resource Negotiator，是一套全新的任务调度与资源管理框架，是 Hadoop 2（当前我们使用的Hadoop版本）的关键组件之一。不同于 Hadoop 1，YARN 不仅支持 MapReduce，还支持各种计算引擎，是一个通用的资源管理器。YARN架构及工作机制下面介绍一下 YARN 的架构以及它是如何工作的。架构搬一张...

关于Yarn的详细介绍请参考【Hadoop Yarn详解】一、相关配置情况关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念，相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念，现在可以先把它理解为运行map/reduce task的容器，后面有详细介绍。1.1 RM的内存资...