自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(162)
  • 资源 (49)
  • 收藏
  • 关注

转载 百万数据查询优化技巧三十则

http://blog.csdn.NET/fenglibing/article/details/69723391.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如: select id from t

2017-08-20 21:00:18 225

转载 软件架构模式

http://blog.csdn.net/baidy/article/details/6985640浅谈架构模式[此文于2010年7月29日被重新编辑]      软件体系结构通常被称为架构,指可以预制和可重构的软件框架结构。架构尚处在发展期,对于其定义,学术界尚未形成一个统一的意见,而不同角度的视点也会造成软件体系结构的不同理解,以下是一些主流的标准观点。组成派

2017-08-20 20:56:31 269

转载 架构师必看书籍

http://blog.csdn.net/xiaoxiaocoder/article/details/8807290作为Java程序员来说,最痛苦的事情莫过于可以选择的范围太广,可以读的书太多,往往容易无所适从。我想就我自己读过的技术书籍中挑选出来一些,按照学习的先后顺序,推荐给大家,特别是那些想不断提高自己技术水平的Java程序员们。 一、Java编程入门类 对于没有Java

2017-08-11 23:50:13 754

转载 10亿数据量的即席查询 spark 和 kylin的对比

数据量大约在10亿+,需要做一个即席查询,用户可以主动输入搜索条件,如时间。可提供一定的预处理时间。每天还有新数据加入。10亿+的数据对于普通的rdbms还是有些压力的,而且数据每天还在不停的增长,所以我们运用了我们的spark技术来做一个计算加速。关于增量更新的相关,我会在后续的博客中介绍。语句如下select count(*) a,b from table_a wher...

2019-11-07 09:55:10 270

转载 PB级海量数据服务平台架构设计实践

基于PB级海量数据实现数据服务平台,需要从各个不同的角度去权衡,主要包括实践背景、技术选型、架构设计,我们基于这三个方面进行了架构实践,下面分别从这三个方面进行详细分析讨论:作者:Yanjun基于PB级海量数据实现数据服务平台,需要从各个不同的角度去权衡,主要包括实践背景、技术选型、架构设计,我们基于这三个方面进行了架构实践,下面分别从这三个方面进行详细分析讨论:实践背景该数据服务...

2019-10-16 18:57:31 366

转载 VMware网络连接模式——桥接模式、NAT模式以及仅主机模式的介绍和区别

在使用VMware Workstation(以下简称:VMware)创建虚拟机的过程中,配置虚拟机的网络连接是非常重要的一环,当我们为虚拟机配置网络连接时,我们可以看到如下图所示的几种网络连接模式:桥接模式、NAT模式、仅主机模式、自定义网络连接模式。那么这几种网络连接模式都各自有什么主要用途,它们之间又有哪些区别呢?  磨刀不误砍柴工,为了更好地使用虚拟机,了解这几种连接模式的主要用途以...

2019-10-11 10:19:51 43

原创 java源码网站

https://www.programcreek.com/java-api-examples/index.php?project_name=monsonlee/BigData#

2019-08-15 09:32:52 2001

转载 Intellij IDEA中Maven解决依赖失效

最近在折腾Maven和Sonatype的Nexus, 倒霉催的国内和公司网络...Nexus配合finalspeed或者kcptun倒是很给力, 但是Intellij就经常出问题, 出现红字也不动, 默认开了auto import也无效解决方式是在IDEA右侧Maven Projects面板中, 点击M图标的CMD输入mvn -U idea:idea坐等结果完成即可...

2019-08-14 16:48:08 97

转载 LinkedHashMap基本用法&使用实现简单缓存

LinkedHashMap——读书笔记《Java编程的逻辑》读书笔记1. 基本用法LinkedHashMap是HashMap的子类,但是内部还有一个双向链表维护键值对的顺序,每个键值对既位于哈希表中,也位于双向链表中。LinkedHashMap支持两种顺序插入顺序 、 访问顺序插入顺序:先添加的在前面,后添加的在后面。修改操作不影响顺序访问顺序:所谓访问指的是get/put操作,对一...

2019-08-08 10:31:39 94

转载 触发JVM进行Full GC的情况及应对策略

堆内存划分为 Eden、Survivor 和 Tenured/Old 空间,如下图所示:从年轻代空间(包括 Eden 和 Survivor 区域)回收内存被称为 Minor GC,对老年代GC称为Major GC,而Full GC是对整个堆来说的,在最近几个版本的JDK里默认包括了对永生带即方法区的回收(JDK8中无永生带了),出现Full GC的时候经常伴随至少一次的Minor ...

2019-08-03 10:45:29 22

转载 JavaWeb—基于Token的身份验证

https://www.cnblogs.com/Jason-Xiang/p/9808596.html

2019-08-03 10:34:15 175

转载 Java Web 开发必须掌握的三个技术:Token、Cookie、Session

https://www.cnblogs.com/jiangxwa/p/10289411.html来源:jianshu.com/p/8ef0c5a551d3整编:公众号Java技术栈在Web应用中,HTTP请求是无状态的。即:用户第一次发起请求,与服务器建立连接并登录成功后,为了避免每次打开一个页面都需要登录一下,就出现了cookie,Session。CookieCookie...

2019-08-03 10:33:32 93

转载 java虚拟机

https://www.cnblogs.com/Jason-Xiang/category/1319151.html

2019-08-03 10:29:34 41

转载 JavaWeb网站技术架构

https://www.cnblogs.com/Leo_wl/p/7507883.html

2019-08-03 10:09:43 330

转载 [项目规范]JAVA WEB项目实施规范

https://blog.csdn.net/cloud_xiaobai/article/details/79376763

2019-08-03 10:08:42 54

转载 JavaWeb基础知识总结

https://www.cnblogs.com/du-0210/p/8426624.html

2019-08-03 10:07:10 136

转载 Hadoop 系列YARN:资源调度平台(YARN参数解读与调优)

.YARN:资源调度平台YARN参数解读与调优yarn-site.xml文件默认参数:http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml参数 默认值 说明 yarn.resourcemanager.address ${yarn...

2019-05-28 13:48:38 208

转载 初始hadoop

https://www.cnblogs.com/mtime2004/p/9996413.htmlHadoop是什么?Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展,每个机器都可以提供本地计算和存储。Had...

2019-05-28 13:43:42 76

转载 利用yarn多队列实现hadoop资源隔离

https://blog.csdn.net/bbaiggey/article/details/53574468大数据处理离不开hadoop集群的部署和管理,对于本来硬件资源就不多的创业团队来说,做好资源的共享和隔离是很有必要的,毕竟不像BAT那么豪,那么怎么样能把有限的节点同时分享给多组用户使用而且互不影响呢,我们来研究一下yarn多队列做资源隔离请尊重原创,转载请注明来源网站www.sh...

2019-05-28 13:40:24 71

转载 hadoop中YARN的整体架构及作业生命周期

http://www.aboutyun.com/thread-6756-1-1.html本帖最后由 howtodown 于 2014-1-31 16:00 编辑 整体架构 MRAppMaster是MapReduce的ApplicationMaster实现,它使得MapReduce计算框架可以运行于YARN之上。在YARN中,MRAppMaster负责管理MapReduc...

2019-05-27 13:56:26 201

转载 YARN的工作机制

YARN是什么全称 Yet Another Resource Negotiator,是一套全新的任务调度与资源管理框架,是 Hadoop 2(当前我们使用的Hadoop版本)的关键组件之一。不同于 Hadoop 1,YARN 不仅支持 MapReduce,还支持各种计算引擎,是一个通用的资源管理器。YARN架构及工作机制下面介绍一下 YARN 的架构以及它是如何工作的。架构搬一张...

2019-05-27 13:53:18 330

转载 Yarn 内存分配管理机制及相关参数配置

关于Yarn的详细介绍请参考【Hadoop Yarn详解】一、相关配置情况关于Yarn内存分配与管理,主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念,相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念,现在可以先把它理解为运行map/reduce task的容器,后面有详细介绍。1.1 RM的内存资...

2019-05-27 13:40:26 57

转载 Hadoop学习之路(二十三)MapReduce中的shuffle详解

https://www.cnblogs.com/qingyunzong/p/8615024.html讨论QQ:1586558083目录概述 MapReduce的Shuffle过程介绍 Spill过程 Sort Spill Merge Copy Merge Sort 正文回到顶部概述1、MapReduce 中,mapper 阶段处理的数据...

2019-05-25 14:06:46 40 1

转载 hbase教程系列之--Hbase常用Shell命令

文章链接:https://www.cnblogs.com/xing901022/p/6974178.htmlstatus 查看系统状态hbase(main):010:0> status1 active master, 0 backup masters, 4 servers, 0 dead, 6.5000 average loadversion 查看版本号hbase(ma...

2019-05-24 13:41:39 474

转载 图解分布式架构的演进

https://www.cnblogs.com/dump/p/8125539.html参考:https://www.cnblogs.com/my376908915/p/6813321.html一、什么是分布式架构  分布式系统(distributed system)是建立在网络之上的软件系统。  内聚性:是指每一个数据库分布节点高度自治,有本地的数据库管理系统。  透明性:是...

2019-05-07 15:49:11 54

转载 Hive面试问题1

A所有的hive任务都会有reducer的执行吗?答:不是,由于当前hive的优化,使得一般简单的任务不会去用reducer任务;只有稍微复杂的任务才会有reducer任务举例:使用select*fromperson;就不会有reducer使用frompersonpinsertintoperson2selec...

2019-04-29 14:39:24 156

转载 hbase教程系列之--再谈HBase八大应用场景

原文地址:https://www.cnblogs.com/hbase-community/p/8629222.html再谈HBase八大应用场景HBase概述HBase是一个分布式存储、数据库引擎,可以支持千万的QPS、PB级别的存储,这些都已经在生产环境验证,并且在广大的公司已经验证。特别是阿里、小米、京东、滴滴内部都有数千、上万台的HBase集群。选择一个技术的首要条件是对齐大公司...

2019-04-28 21:13:07 73

转载 查看修复HDFS中丢失的块 &HDFS block丢失过多进入安全模式(safe mode)的解决方法

原文地址:https://blog.csdn.net/mnasd/article/details/82143653检测缺失块1 hdfs fsck -list-corruptfileblocks1 hdfs fsck / | egrep -v '^\.+$' | grep -v eplica查看上面某一个文件的情况1 hdfs fsck /path/to/corrupt/...

2019-04-28 20:14:27 389

转载 hadoop集群之YARN`s ResourceManager HA(三)

如果有看蒙圈的地方,请看下HDFS HA这篇文章官方给出的方案如下配置目标:node1 node2 node3:3台ZooKeepernode1 node2:为2台ResourceManager首先配置node1,配置etc/hadoop/yarn-site.xml:<property> <name>yarn.resourcemanager.h...

2019-04-28 19:48:15 80

转载 Hadoop集群之HDFS伪分布式安装 HA(二)

https://blog.csdn.net/q361239731/article/details/535596811、首先看看HA的对象是谁?主要解决的是NameNode的HA2、Datanode不需要HA吗?DataNode的HA是NameNode的checksize机制(主动复制)来解决的3、NameNode为什么需要HA?NameNode的2大功能:● 为客户端提供读写...

2019-04-28 19:47:12 59

转载 Hive的三种Join方式

Hive中就是把Map,Reduce的Join拿过来,通过SQL来表示。参考链接:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+JoinsCommon/Shuffle/Reduce JoinReduce Join在Hive中也叫Common Join或Shuffle Join如果两边数据量都很大,它会进行...

2019-04-28 14:51:55 101

转载 开启Hive的本地模式

原文地址:https://blog.csdn.net/zyq11223/article/details/78846886先讲一个hive使用的一个小技巧。对于使用惯了oracle数据库的人来说,hive中没有dual啊,想验证一些函数的执行结果很是麻烦。比如我们在oracle数据库里面可以写select (1+2) from dual可以返回3。为了保证使用习惯,我们类似的在hive中...

2019-04-28 14:50:07 131

转载 fsimage与editlog详解

1 概述HDFS中的NameNode被称为元数据节点DataNode称为数据节点。NameNode维护了文件与数据块的映射表以及数据块与数据节点的映射表,而真正的数据是存储在DataNode上。对于NameNode如何存储这些信息,它维护两个文件,一个是fsimage,一个是editlog。2 fsimage与editlog作用fsimage保存了最新的元数据检查点,在HDFS启...

2019-04-24 11:27:39 373

原创 ambari-agent Controller.py:170 - Registering with localhost

最近在使用ambari安装大数据进群,在进行添加新主机时ambari-agent的日志中出现 Registering with localhost 导致在ambari-server的界面中出现Registering with server failed,后来经过在网上找了好多答案文能解决,特此将解决方法记录下。前提:新添加的主机已经和ambari-server已经做过了免密码登陆,并且通过ss...

2019-02-26 16:25:53 226

原创 [免费]Linux命令行与shell脚本编程大全.第3版

链接: https://pan.baidu.com/s/1-covfUP6LWWCMxAHQrDLlw 提取码: yicg 网上都是需要积分的,这里分享给大家免费可以下载的地方. 

2019-01-18 10:30:56 2497 2

转载 hadoop集群balance工具详解

https://blog.csdn.net/azhao_dn/article/details/7741666 在线上的hadoop集群运维过程中,hadoop 的balance工具通常用于平衡hadoop集群中各datanode中的文件块分布,以避免出现部分datanode磁盘占用率高的问题(这问题也很有可能导致该节点CPU使用率较其他服务器高)。     1) hadoop balanc...

2019-01-04 15:12:04 61

转载 mybatis配置时出现org.apache.ibatis.binding.BindingException: Invalid bound statement (not found)

如果出现:org.apache.ibatis.binding.BindingException: Invalid bound statement (not found)一般的原因是Mapper interface和xml文件的定义对应不上,需要检查包名,namespace,函数名称等能否对应上,需要比较细致的对比,我经常就是写错了一两个字母搞的很长时间找不到错误按以下步骤一一执行:...

2019-01-04 15:09:54 76

原创 Ambari版本新特性

Ambari的最新版本是Ambari 2.7.3Ambari 2.7.0增加了以下功能:Ambari UI,Ambari Server和Ambari Agent已经过重大改造,可以更有效地处理大型集群管理 为了更有效地管理大型集群,已更新AMS架构,并且已改进了度量标准聚合。 更新了默认配置和配置建议,以确保AMS开箱即用。 添加了对轻松添加和管理新HDFS命名空间的支持。 添加了...

2019-01-03 16:23:34 559

转载 Oracle 表空间和数据文件之间的关系

https://www.cnblogs.com/Kconnie/p/3968668.html首先,你需要明白的一点是:数据库的物理结构是由数据库的操作系统文件所决定,每一个Oracle数据库是由三种类型的文件组成:数据文件、日志文件和控制文件。数据库的文件为数据库信息提供真正的物理存储。 每一个Oracle数据库有一个或多个物理的数据文件(data file)。一个数据库的数据文件包含全部数...

2019-01-02 09:46:59 124

转载 Spark方面的大牛博客地址收集!

http://blog.51cto.com/36006798/1872498Spark方面的大牛博客地址收集! 1、石山园          http://www.cnblogs.com/shishanyuan/ 2、段智华的博客        http://blog.csdn.net/duan_zhihua 3、西红柿炒土豆        http://blog.cs...

2018-10-25 16:56:29 110

jsgraphics

可以在页面上绘画,圆形,椭圆,矩形等各种形状,同时还可以进行自定义填充颜色;

2013-08-11

新闻发布系统模板

比较不错的新闻发布系统,用javaee开发;

2013-08-04

火车车次查询系统代码

火车车次查询系统代码火车车次查询系统代码火车车次查询系统代码火车车次查询系统代码火车车次查询系统代码火车车次查询系统代码火车车次查询系统代码

2011-05-22

火车车次web查询系统代码

查询系统代码查询系统代码查询系统代码查询系统代码查询系统代码查询系统代码查询系统代码查询系统代码

2011-05-22

游客管理系统c++开发的

游客管理系统游客管理系统游客管理系统游客管理系统游客管理系统游客管理系统游客管理系统游客管理系统游客管理系统游客管理系统游客管理系统游客管理系统

2011-05-22

MySQL中文参考手册.chm

MySQL中文参考手册.chmMySQL中文参考手册.chmMySQL中文参考手册.chmMySQL中文参考手册.chmMySQL中文参考手册.chmMySQL中文参考手册.chmMySQL中文参考手册.chmMySQL中文参考手册.chmMySQL中文参考手册.chmMySQL中文参考手册.chm

2011-05-22

经典SQL语句大全经典SQL语句大全

经典SQL语句大全经典SQL语句大全经典SQL语句大全经典SQL语句大全经典SQL语句大全

2011-05-22

SQL语言艺术SQL语言艺术SQL语言艺术

SQL语言艺术SQL语言艺术SQL语言艺术SQL语言艺术SQL语言艺术SQL语言艺术SQL语言艺术SQL语言艺术SQL语言艺术

2011-05-22

Oracle9i官方文档CHM合集-SQL参考手册

Oracle9i官方文档CHM合集-SQL参考手册Oracle9i官方文档CHM合集-SQL参考手册Oracle9i官方文档CHM合集-SQL参考手册Oracle9i官方文档CHM合集-SQL参考手册Oracle9i官方文档CHM合集-SQL参考手册Oracle9i官方文档CHM合集-SQL参考手册

2011-05-22

bugfree给常好的一个缺陷管理工具

给常好的一个缺陷管理工具给常好的一个缺陷管理工具给常好的一个缺陷管理工具

2011-03-26

Java EE基础实用教程[郑阿奇][实验]

Java EE基础实用教程[郑阿奇][实验]Java EE基础实用教程[郑阿奇][实验]Java EE基础实用教程[郑阿奇][实验]Java EE基础实用教程[郑阿奇][实验]

2011-03-26

谈谈SQL注入攻击(Chinasei)

谈谈SQL注入攻击(Chinasei)谈谈SQL注入攻击(Chinasei)谈谈SQL注入攻击(Chinasei)谈谈SQL注入攻击(Chinasei)谈谈SQL注入攻击(Chinasei)

2011-03-26

Shell脚本学习指南

Shell脚本学习指南Shell脚本学习指南Shell脚本学习指南Shell脚本学习指南

2011-03-26

企业员工及部门管理系统

企业员工及部门管理系统企业员工及部门管理系统企业员工及部门管理系统企业员工及部门管理系统企业员工及部门管理系统

2011-03-26

电脑超级技巧5000招

电脑超级技巧5000招电脑超级技巧5000招电脑超级技巧5000招电脑超级技巧5000招电脑超级技巧5000招

2011-03-26

数据库管理

数据库管理数据库管理数据库管理数据库管理数据库管理数据库管理

2011-03-26

java常用类库java常用类库java常用类库

java常用类库java常用类库java常用类库java常用类库java常用类库java常用类库java常用类库java常用类库

2011-03-26

软件测试工作流程esting软件测试工作流程esting软件测试工作流程esting

软件测试工作流程esting软件测试工作流程esting软件测试工作流程esting软件测试工作流程esting软件测试工作流程esting软件测试工作流程esting

2011-03-26

51TestingN6[1]51TestingN6[1]51TestingN6[1]

51TestingN6[1]51TestingN6[1]51TestingN6[1]51TestingN6[1]51TestingN6[1]51TestingN6[1]51TestingN6[1]51TestingN6[1]51TestingN6[1]51TestingN6[1]

2011-03-26

测试作业测试作业测试作业

测试作业测试作业测试作业测试作业测试作业测试作业

2011-03-26

分配内存单元

分配内存单元分配内存单元分配内存单元分配内存单元分配内存单元分配内存单元分配内存单元分配内存单元分配内存单元

2011-03-26

进度程序

进度程序进度程序进度程序进度程序进度程序进度程序进度程序进度程序进度程序进度程序

2011-03-26

电脑知识

电脑知识电脑知识电脑知识电脑知识电脑知识电脑知识电脑知识电脑知识电脑知识电脑知识电脑知识

2011-03-26

定制Windows登录和安全对话框标题.mht

定制Windows登录和安全对话框标题.mht定制Windows登录和安全对话框标题.mht定制Windows登录和安全对话框标题.mht定制Windows登录和安全对话框标题.mht

2011-03-26

商品销售管理系统(完整版)商品销售管理系统(完整版)

商品销售管理系统(完整版)商品销售管理系统(完整版)商品销售管理系统(完整版)商品销售管理系统(完整版)商品销售管理系统(完整版)商品销售管理系统(完整版)

2011-03-26

Visual.C++.6从入门到精通

Visual.C++.6从入门到精通

2010-12-01

配置好的eclipse Java可视化开发

伙计们,听不要嫌资源分太高。我也是花费了许多时间才弄好的,确实是来之不易,希望会给你带来的更多。 注意:由于文件太大,请下载此文件后解压,按照里面的联系方式联系我。

2010-11-07

交换机配置基础PPT.ppt

交换机配置基础

2010-11-02

交换机与路由器配置教程

交换机与路由器配置教程

2010-11-02

小区物业管理系统

物业管理系统

2010-11-02

Effective Java 中文版(繁体版).rar

Effective Java 中文版(繁体版).rar

2010-11-02

制作可运行的JAR包.txt

制作可运行的JAR包.txt

2010-11-02

Java并发编程实践(英文版).rar

Java并发编程实践(英文版).rar

2010-11-02

最小化到系统托盘java

1. 点击窗口的最小化或关闭按钮都是隐藏窗口--任务栏里不显示,不退出程序 * 2. 窗口隐藏时,任务栏无图标,系统栏有图标;窗口处于显示状态时则恰好相反 * 3. 窗口隐藏时可通过单击系统栏图标或点击系统栏的 "显示窗口" 菜单显示窗口 * 4. 程序只能通过点击系统栏的 "退出程序" 菜单项退出,窗口的 X 按钮无效

2010-11-02

SWT实例

SWT实例

2010-11-02

Eclipse_3.3_API.chm

Eclipse_3.3_API.chm 帮助文档

2010-11-02

eclipse_icons.rar

eclipse图标

2010-11-02

Java+2+图形设计卷

Java图形设计

2010-11-02

java实现压缩和解压.doc

java实现压缩和解压.doc

2010-11-02

jdbcbook.rar

jdbcbook.rar

2010-11-02

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除