- 博客(11)
- 资源 (7)
- 问答 (1)
- 收藏
- 关注
转载 Hadoop的HA集群启动和停止流程
转载自:http://www.cnblogs.com/jun1019/p/6240770.html假设我们有3台虚拟机,主机名分别是hadoop01、hadoop02和hadoop03。这3台虚拟机的Hadoop的HA集群部署计划如下: 3台虚拟机的Hadoop的HA集群部署计划hadoop01zookeeperj
2017-04-27 16:03:26 5266
转载 JAVA集合类汇总
转载自:http://www.cnblogs.com/leeplogs/p/5891861.html一、集合与数组数组(可以存储基本数据类型)是用来存现对象的一种容器,但是数组的长度固定,不适合在对象数量未知的情况下使用。集合(只能存储对象,对象类型可以不一样)的长度可变,可在多数情况下使用。二、层次关系如图所示:图中,实线边框的是实现类,折线边框的是抽象类
2017-04-20 16:08:54 378
转载 Hadoop集群之 ZooKeeper和Hbase环境搭建
转载自:http://blog.csdn.net/peace1213/article/details/51336369前面讲解了Hadoop完全分布式的搭建,本章主要讲解一下在Hadoop完全分布式已经搭建成功的情况下搭建ZooKeeper和Hbase环境所有软件下载百度云 密码:uup8讲在开头:对于笔者的完全分布式环境请见该文:Hadoop完全分布式安装
2017-04-19 14:31:35 1344 2
原创 hadoop学习之hadoop2.8.0完全分布式集群安装
转载自:http://blog.csdn.net/peace1213/article/details/51334508本文主要讲解Hadoop完全分布式的搭建,使用vm建立三个相同配置的主机进行搭建。本文讲解所有详细步骤希望对大家有用。全部软件下载百度云链接:失效请评论告诉我密码:io9r1.准备工作 1.1软硬件环境
2017-04-19 14:28:18 21166 8
原创 《Hadoop权威指南》——4、Hadoop的I/O
第4章 Hadoop IOHDFS完整性客户端在读取数据块时会验证校验和:校验和----不可靠传输----校验和客户端(数据+校验和)------管线(dataNode组成)------>最后一个dataNode负责验证校验和。checksumException异常。数据压缩可切分的压缩格式更适合于MapReduceFileOutputFormat.setC
2017-04-14 16:16:46 844
原创 《Hadoop权威指南》——3、Hadoop 分布式文件系统
HDFS设计超大文件流式数据访问 一次写入、多次读取大量小文件HDFS的概念HDFS上的文件被分为多个块,作为独立的存储单元,HDFS中小于一个块大小的文件不会占据整个块的空间。 块的大小不易太大,map任务通常一次只处理一个块中的数据,如果任务数太少速度就会慢。显示块信息hadoop fsck / -files -blocks11namenod
2017-04-13 17:56:59 711
原创 sql优化----不同写法下group by 的影响
今天要对实现这样的一个统计效果的sql进行优化。分析:可以看出此统计是要求针对经销商,车系两个维度对试驾次数和潜客数两个指标进行统计,试驾率是由这两个指标进行计算而得到。1、维度:经销商,车系2、指标:试驾次数,潜客数原版sql如下:分析问题:此sql给人的第一印象就是用了子查询效率低,事实它确实特别慢。而且对于不熟悉业务的人来说想看懂很痛苦。 所以我选择了重
2017-04-12 15:56:40 6825
原创 sql优化中遇到的问题
今天在sql优化的时候遇到了一个问题:SELECT COUNT(1)FROM (SELECT a.`namechn` AS na, d.`namechn`, d.`code`, line.name , 0 AS isdrive, SUM(CASE WHEN p.number IS NULL THEN 0 ELSE p.number END) AS poten
2017-04-11 18:19:28 450
转载 sql语句优化之一:尽量使用索引避免全表扫描
url:http://lzz7658823.iteye.com/?page=31.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如: select id from t where num is null 可以
2017-04-11 15:16:52 1307
原创 《Hadoop权威指南》——1、初识Hadoop&&2、关于MapReduce
Chap1 初始hadoopMapReduce比较适合以批处理方式处理需要分析整个数据集的问题,尤其是动态分析。MapReduce对非结构化或半结构化数据非常有效,因为它是中处理数据时才对数据进行解释。即MapReduce输入的键和值并不是数据固有的属性,而是由分析数据的人来选的。MapReduce是一种线性可伸缩编程模型,我们需要写map函数和reduce函数,每个函数定义一个键值对集合
2017-04-11 09:54:39 623
转载 JDK源码解析---ArrayList分析
转载自:http://blog.csdn.net/tanggao1314/花了两个晚上的时间研究了一下ArrayList的源码, ArrayList 继承自AbstractList 并且实现了List, RandomAccess, Cloneable, Serializable 通过实现这三个接口 就具备了他们的功能 RandomAccess 用来表明其支持快速(通常是固定时
2017-04-06 16:41:13 785
实验六 SQL 语句综合训练
2012-06-10
实验五 SQL SERVER 完整性与安全性
2012-06-10
实验四 数据更新与视图
2012-06-10
实验三 数据库
2012-06-10
数据库 定义
2012-06-10
数据库实验报告
2012-06-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人