百万数据查询优化技巧三十则

http://blog.csdn.NET/fenglibing/article/details/6972339 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 ...

2017-08-20 21:00:18

阅读数 182

评论数 0

软件架构模式

http://blog.csdn.net/baidy/article/details/6985640 浅谈架构模式 [此文于2010年7月29日被重新编辑]       软件体系结构通常被称为架构,指可以预制和可重构的软件框架结构。架构尚处在发展期,对于其定义,学术界尚未形成...

2017-08-20 20:56:31

阅读数 207

评论数 0

架构师必看书籍

http://blog.csdn.net/xiaoxiaocoder/article/details/8807290 作为Java程序员来说,最痛苦的事情莫过于可以选择的范围太广,可以读的书太多,往往容易无所适从。我想就我自己读过的技术书籍中挑选出来一些,按照学习的先后顺序,推荐给大家,特别是那...

2017-08-11 23:50:13

阅读数 416

评论数 0

Hadoop学习之路(二十三)MapReduce中的shuffle详解

https://www.cnblogs.com/qingyunzong/p/8615024.html 讨论QQ:1586558083 目录 概述 MapReduce的Shuffle过程介绍 Spill过程 Sort Spill Merge Copy Merge S...

2019-05-25 14:06:46

阅读数 2

评论数 0

hbase教程系列之--Hbase常用Shell命令

文章链接:https://www.cnblogs.com/xing901022/p/6974178.html status 查看系统状态 hbase(main):010:0> status 1 active master, 0 backup masters, 4 servers...

2019-05-24 13:41:39

阅读数 3

评论数 0

图解分布式架构的演进

https://www.cnblogs.com/dump/p/8125539.html 参考:https://www.cnblogs.com/my376908915/p/6813321.html 一、什么是分布式架构   分布式系统(distributed system)是建立在网络之上的软...

2019-05-07 15:49:11

阅读数 34

评论数 0

Hive面试问题1

A所有的hive任务都会有reducer的执行吗? 答:不是,由于当前hive的优化,使得一般简单的任务不会去用reducer任务;只有稍微复杂的任务才会有reducer任务 举例:使用select*fromperson;就不会有reducer 使用frompersonp insertin...

2019-04-29 14:39:24

阅读数 25

评论数 0

hbase教程系列之--再谈HBase八大应用场景

原文地址:https://www.cnblogs.com/hbase-community/p/8629222.html 再谈HBase八大应用场景 HBase概述 HBase是一个分布式存储、数据库引擎,可以支持千万的QPS、PB级别的存储,这些都已经在生产环境验证,并且在广大的公司已经验证...

2019-04-28 21:13:07

阅读数 27

评论数 0

查看修复HDFS中丢失的块 &HDFS block丢失过多进入安全模式(safe mode)的解决方法

原文地址:https://blog.csdn.net/mnasd/article/details/82143653 检测缺失块 1 hdfs fsck -list-corruptfileblocks 1 hdfs fsck / | egrep -v '^\.+$' | grep -v e...

2019-04-28 20:14:27

阅读数 14

评论数 0

hadoop集群之YARN`s ResourceManager HA(三)

如果有看蒙圈的地方,请看下HDFS HA这篇文章 官方给出的方案如下 配置目标: node1 node2 node3:3台ZooKeeper node1 node2:为2台ResourceManager 首先配置node1,配置etc/hadoop/yarn-site.xml: &...

2019-04-28 19:48:15

阅读数 37

评论数 0

Hadoop集群之HDFS伪分布式安装 HA(二)

https://blog.csdn.net/q361239731/article/details/53559681 1、首先看看HA的对象是谁? 主要解决的是NameNode的HA 2、Datanode不需要HA吗? DataNode的HA是NameNode的checksize机制(主动复制)...

2019-04-28 19:47:12

阅读数 23

评论数 0

Hive的三种Join方式

Hive中就是把Map,Reduce的Join拿过来,通过SQL来表示。 参考链接:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins Common/Shuffle/Reduce Join Reduce J...

2019-04-28 14:51:55

阅读数 35

评论数 0

开启Hive的本地模式

原文地址:https://blog.csdn.net/zyq11223/article/details/78846886 先讲一个hive使用的一个小技巧。对于使用惯了oracle数据库的人来说,hive中没有dual啊,想验证一些函数的执行结果很是麻烦。 比如我们在oracle数据库里面可以...

2019-04-28 14:50:07

阅读数 27

评论数 0

fsimage与editlog详解

1 概述 HDFS中的NameNode被称为元数据节点DataNode称为数据节点。NameNode维护了文件与数据块的映射表以及数据块与数据节点的映射表,而真正的数据是存储在DataNode上。 对于NameNode如何存储这些信息,它维护两个文件,一个是fsimage,一个是editlog。...

2019-04-24 11:27:39

阅读数 6

评论数 0

ambari-agent Controller.py:170 - Registering with localhost

最近在使用ambari安装大数据进群,在进行添加新主机时ambari-agent的日志中出现 Registering with localhost 导致在ambari-server的界面中出现Registering with server failed,后来经过在网上找了好多答案文能解决,特此将解...

2019-02-26 16:25:53

阅读数 74

评论数 0

[免费]Linux命令行与shell脚本编程大全.第3版

链接: https://pan.baidu.com/s/1-covfUP6LWWCMxAHQrDLlw 提取码: yicg  网上都是需要积分的,这里分享给大家免费可以下载的地方.  

2019-01-18 10:30:56

阅读数 316

评论数 0

hadoop集群balance工具详解

https://blog.csdn.net/azhao_dn/article/details/7741666  在线上的hadoop集群运维过程中,hadoop 的balance工具通常用于平衡hadoop集群中各datanode中的文件块分布,以避免出现部分datanode磁盘占用率高的问题(...

2019-01-04 15:12:04

阅读数 26

评论数 0

mybatis配置时出现org.apache.ibatis.binding.BindingException: Invalid bound statement (not found)

如果出现: org.apache.ibatis.binding.BindingException: Invalid bound statement (not found) 一般的原因是Mapper interface和xml文件的定义对应不上,需要检查包名,namespace,函数名称等能否对...

2019-01-04 15:09:54

阅读数 34

评论数 0

Ambari版本新特性

Ambari的最新版本是Ambari 2.7.3 Ambari 2.7.0增加了以下功能: Ambari UI,Ambari Server和Ambari Agent已经过重大改造,可以更有效地处理大型集群管理 为了更有效地管理大型集群,已更新AMS架构,并且已改进了度量标准聚合。 更新了默...

2019-01-03 16:23:34

阅读数 81

评论数 0

Oracle 表空间和数据文件之间的关系

https://www.cnblogs.com/Kconnie/p/3968668.html 首先,你需要明白的一点是:数据库的物理结构是由数据库的操作系统文件所决定,每一个Oracle数据库是由三种类型的文件组成:数据文件、日志文件和控制文件。数据库的文件为数据库信息提供真正的物理存储。  每...

2019-01-02 09:46:59

阅读数 43

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭