czxylzl的博客

类型texfile：默认的存储格式：普通的文本文件，数据不压缩，磁盘的开销比较大，分析开销大。sequencefile：提供的一种二进制存储格式，可以切割，天生压缩。rcfile：提供的是一种行列混合存储方式，该方式会把相近的行和列数据放在一块儿，存储比较耗时，查询效率高，也天生压缩。orc：是rcfile的一种优化存储。parquet：自定义输入输出格式。具体描述1）texfile普通文本文件（通常默认的就是这个格式）创建表create table if not exists one (

Hive表数据加载1）直接向分区表中插入数据insert into table score3 partition(month =‘201807’) values (‘001’,‘002’,‘100’);2）通过查询插入数据先通过load加载创建一个表(linux) load data local inpath ‘/export/servers/hivedatas/score.csv’ overwrite into table score partition(month=‘201806’);(HD

Hive内部支持大量的函数，可以通过 SHOW FUNCTIONS 查看Hive的内置函数。灵活地运用Hive提供的函数能够极大地节省数据分析成本。Hive函数主要包含数学函数，集合函数，类型转换函数，日期函数，条件函数，字符串函数，聚合函数和表生成函数等。1）数学函数数学函数是Hive内部提供的专门用于数学运算的函数，如round()函数和sqrt()函数等。round()函数主要用来对给定的数字进行四舍五入取近似值，如下所示：hive (default)> SELECT ROUND(5.5)

什么是hive分区 : 就是一种对表进行粗略划分的机制,可以实现加快查询速度的组织形式.在使用分区时, 在表目录下会有相应的子目录,当查询时添加了分区谓词,那么该查询会直接定位到相应的子目录中进行查询,避免全表查询,提成查询效率.注意事项：1 . hive的分区使用的表外字段，分区字段是一个伪列但是可以查询过滤。2 . 分区字段不建议使用中文3 . 不太建议使用动态分区。因为动态分区将会使用mapreduce来查询数据，如果分区数量过多将导致namenode和yarn的资源瓶颈。所以建议动态分区前

Hive提供了一个严格模式，可以防止用户执行那些可能意想不到的不好的影响的查询。通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。对于分区表，除非where语句中含有分区字段过滤条件来限制范围，否则不允许执行。换句话说，就是用户不允许扫描所有分区。进行这个限制的原因是，通常分区表都拥有非常大的数据集，而且数据增加迅速。没有进行分区限制的查询可能会消耗令人不可接受的

1．调整reduce个数方法一（1）每个Reduce处理的数据量默认是256MBhive.exec.reducers.bytes.per.reducer=256000000（2）每个任务最大的reduce数，默认为1009hive.exec.reducers.max=1009（3）计算reducer数的公式N=min(参数2，总输入数据量/参数1)2．调整reduce个数方法二在hadoop的mapred-default.xml文件中修改设置每个job的Reduce个数set mapre

（1）在map执行前合并小文件，减少map数：CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。HiveInputFormat没有对小文件合并功能。set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;（2）在Map-Reduce的任务结束时合并小文件的设置：在map-only任务结束时合并小文件，默认trueSET hive.merge.mapfiles = tr

场景： MR中,shuffle阶段的一个key值对应了很多值,那么就会将这么多值分到一个分区中hive中,两个表做join maptask中一个任务处理的时间明显大于其他task的时间 就是出现了数据倾斜的问题开启数据倾斜时负载均衡set hive.groupby.skewindata=true;思想：就是先随机分发并处理，再按照 key group by 来分发处理。操作：当选项设定为 true，生成的查询计划会有两个 MRJob。第一个 MRJob 中，Map 的输出结果集合会随机分布到 Re

1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。2）当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。3）根据用户自定义函数类别分为以下三种：UDF：User-Defined-Function，用户自定义函数，数据是一进一出，功能类似于大多数数学函数或者字符串处理函数；UDAF：User-Defined Aggregation Function，用户自定

Hive是如何将SQL转化为MapReduce任务的，整个编译过程分为六个阶段：1.Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree；2.遍历AST Tree，抽象出查询的基本组成单元QueryBlock；3.遍历QueryBlock，翻译为执行操作树OperatorTree；4.逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量；5.遍历OperatorTree，翻译为MapR

创建表时：创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径， 不对数据的位置做任何改变。删除表时：在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。1.未被external修饰的是内部表【managed table】，被external修饰的为外部表【external table】2.内部表数据由Hive自身管理，外部表数据由HDFS管理。3.内部表数据存储在hiv

1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。2)避免了去写MapReduce，减少开发人员的学习成本。3)Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。4)Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。5)Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。缺点1．Hive的HQL表达能力有限（1）迭代式算法无法表达（2）数据挖掘方面不擅长，由于MapReduce数据处理流程的限制，效

Hive的架构组成详解如图中所示，Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。一、概要用户接口：ClientCLI(command-line interface)、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）元数据：Metastore元数据包括：表名、表所属的数据库（默认

Hive是什么？一、概述Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。而且，hive十分适合数据仓库的统计分析。二

Hadoop生态圈中各个服务角色zookeeper角色：ZooKeeper服务是指包含一个或多个节点的集群提供服务框架用于集群管理。对于集群，Zookeeper服务提供的功能包括维护配置信息、命名、提供HyperBase的分布式同步，推荐在 ZooKeeper集群中至少有3个节点。JDK角色：JDK是 Java 语言的软件开发工具包， JDK是整个Java开发的核心，它包含了Java的运行环境，Java工具和Java基础的类库。Apache-Flume角色：Flume是Cloudera提供

Hadoop为什么会有YarnHadoop2.x较Hadoop1.x来说，变化非常大，主要主要体现在Hadoop2.x引入了“Yarn”这个核心部件。hadoop1.x有两大部件，HDFS和MadpReduce，其中HDFS（Hadoop Distributed Files System）用于分布式存储文件，由一个NameNode和多个DateNode组成，便于集群中各机器从上面读取和写入文件（数据），MadpReduce由一个JobTracker和多个TaskTracker组成，两个核心任务，Map负

YARN 总体上是 master/slave 结构，在整个资源管理框架中，ResourceManager 为 master，NodeManager 是 slave。YARN的基本组成结构，YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等几个组件构成。ResourceManager是Master上一个独立运行的进程，负责集群统一的资源管理、调度、分配等等；NodeManager是Slave上一个独立运行的进程，负责上

Apache Yarn（Yet Another Resource Negotiator的缩写）是hadoop集群资源管理器系统，Yarn从hadoop 2引入，最初是为了改善MapReduce的实现，但是它具有通用性，同样执行其他分布式计算模式。在MapReduce1中，具有如下局限性：1、扩展性差：jobtracker兼顾资源管理和作业控制跟踪功能跟踪任务，启动失败或迟缓的任务，记录任务的执行状态，维护计数器），压力大，成为系统的瓶颈2、可靠性差：采用了master/slave结构，master容

每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一。combiner是MR程序中Mapper和Reducer之外的一种组件combiner组件的父类就是Reducercombiner和reducer的区别在于运行的位置：Combiner是在每一个maptask所在的节点运行Reducer是接收全局所有Mapper的输出结果；combiner的意

1．概述序列化（Serialization）是指把结构化对象转化为字节流。反序列化（Deserialization）是序列化的逆过程。把字节流转为结构化对象。当要在进程间传递对象或持久化对象的时候，就需要序列化对象成字节流，反之当要将接收到或从磁盘读取的字节流转换为对象，就要进行反序列化。Java的序列化（Serializable）是一个重量级序列化框架，一个对象被序列化后，会附带很多额外的信息（各种校验信息，header，继承体系…），不便于在网络中高效传输；所以，hadoop自己开发了一套序列化

一个MapReduce作业由Map阶段和Reduce阶段两部分组成，这两阶段会对数据排序，从这个意义上说，MapReduce框架本质就是一个Distributed Sort。在Map阶段，Map Task会在本地磁盘输出一个按照key排序(采用的是快速排序)的文件(中间可能产生多个文件，但最终会合并成一个)，在Reduce阶段，每个ReduceTask会对收到的数据排序，这样数据便按照key分成了若干组，之后以组为单位交给reduce方法处理。很多人的误解在Map阶段，如果不使用Combiner便不会排

是为了实现分布式计算，提高计算效率。很多情况下都是需要对整个数据集进行计算操作，单单的分成每个单独的小部分虽然能提高计算效率，但是导致无法完成实际需求，是没有任何意义的，所以添加一个reduce阶段，负责将分成多个部分计算的结果汇总进行处理，使得更加能满足一般需求...

一、概述优化前我们需要知道hadoop适合干什么活，适合什么场景，在工作中，我们要知道业务是怎样的，能才结合平台资源达到最有优化。除了这些我们当然还要知道mapreduce的执行过程，比如从文件的读取，map处理，shuffle过程，reduce处理，文件的输出或者存储。在工作中，往往平台的参数都是固定的，不可能为了某一个作业去修改整个平台的参数，所以在作业的执行过程中，需要对作业进行单独的设定，这样既不会对其他作业产生影响，也能很好的提高作业的性能，提高优化的灵活性。现在回顾下hadoop的优势（适用

map join：map side join 是针对一下场景进行的优化。两个待连接的表中，有一个表非常大，而另一个非常小，以至于小表可以直接存放到内存中。这样，我们可以将小表复制多份，让每一个map task内存中存在一份（比如放在hash table中），然后只扫描大表：对于大表中的每一条记录key/value，在hash table中查找是否具有相同key的记录，入股有，则连接后输出即可。场景：MapJoin 适用于有一份数据较小的连接情况。做法：直接将较小的数据加载到内存中，按照连接的关键字建立

mapper（）方法做业务逻辑处理，然后将数据传到分区方法中，给数据标记好分区，将数据发送到环形缓冲区环形缓冲区默认100M，达到80%的阈值进行溢写操作溢写之前会进行排序，排序的规则是字典序排序，排序的手段呢是快排溢写会产生很多溢写文件，溢写文件默认达到10个会进行“墨汁”合并，合并时采用的算法是归并排序也可以进行combiner局部聚合的操作，前提是局部聚合的结果不会对最终的结果有影响等到所有的maptask运行完毕，会启动一定数量的reducetask,并告知reducetask读取数据的范

1.在客户端执行submit()方法之前,会先去获取一下待读取文件的信息2.将job提交给yarn,这时候会带着三个信息过去(job.split(文件的切片信息),jar.job.xml)3.yarn会根据文件的切片信息去计算将要启动的maptask的数量,然后去启动maptask4.maptask会调用InPutFormat()方法去HDFS上面读取文件,InPutFormat()方法会再去调用RecordRead()方法,将数据以行首字母的偏移量为key,一行数据为value传给mapper(..

概念Hadoop MapReduce 是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到 Hadoop 集群上用于并行处理大规模的数据集。MapReduce作业通常将输入数据集拆分为独立的块，这些任务由map任务以完全并行的方式进行处理。框架对map的输出进行排序，然后将其输入到reduce任务。通常，作业的输入和输出都存储在文件系统中。该框架负责安排任务，监视任务并重新执行失败的任务。MapReduce可以分成Map和Reduce两部分理解。1.Map：映射过程，把一组数据按

文件压缩主要有两个好处，一是减少了存储文件所占空间，另一个就是为数据传输提速。在hadoop大数据的背景下，这两点尤为重要，那么我现在就先来了解下hadoop中的文件压缩。1 gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。缺点：不支持split。应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格

操作系统级别优化1.优化文件系统（推荐使用EXT4和XFS文件系统，相比较而言，更推荐后者，因为XFS已经帮我们做了大量的优化。）2.预读缓冲　　预读技术可以有效的减少磁盘寻道次数和应用的I/O等待时间，增加Linux文件系统预读缓冲区的大小(默认为256 sectors，128KB)，可以明显提高顺序文件的读性能，建议调整到1024或2048 sectors。预读缓冲区的设置可以通过blockdev命令来完成。3.放弃RAID和LVM磁盘管理方式，选用JBOD复制代码不使用RAID　　应避

小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namenode大约需要2G空间。如果存储1亿个文件，则namenode需要20G空间。这样namenode内存容量严重制约了集群的扩展。 其次，访问大量小文件速度远远小于访问几个大文件。HDFS最初是为流式访问大文件开发的，如

什么时候进入安全模式？有两种方式人为进入集群二次启动安全模式有什么特点？安全模式中只能读取数据，不能修改数据（增、删、改）在安全模式下集群在做什么？在安全模式下集群在进行恢复元数据，即在合并fsimage和edits log，并且接受datanode的心跳信息，恢复block的位置信息，将集群恢复到上次关机前的状态如何进入/退出安全模式？进入:hdfs dfsadmin -safemode enter退出:hdfs dfsadmin -safemode leave.

.fsimage：HDFS文件系统元数据的镜像文件，其中包含HDFS文件系统的所有目录和文件inode及相关属性的序列化信息。edits：用户操作的编辑日志文件，存放HDFS文件系统的所有更新操作的动作，文件所有写操作会被记录到Edits文件中。在namenode运行期间, 客户端对hdfs的写操作都保存到edit文件中, 久而久之就会造成edit文件变得很大, 如果namenode重启, 它会将fsimage中的内容映射到内存中, 然后再一条一条执行edit文件中的操作, 所以日志文件

常见的故障三种 节点故障，通讯故障，数据损坏。节点故障主要关注DateNode的检查方法DateNode每三秒会向NameNode发送自己的心跳信息如果十分钟内NameNode没有收到心跳信息，就判定DataNode死亡通讯故障每当发送数据，接受者会回复一个应答信号如果没有收到应答信号（多次尝试），发送者就会认为主机已经挂掉，或发生网络错误数据损坏校验和-数据当向硬盘存储数据时，也会存储校验和...

HDFS高可用原理：HDFS HA（High Available）同时配置两个Namenode，状态分别是Active和Standby。Standby Namenode作为热备份，在机器发生故障时能够快速进行故障转移，同时在日常维护的时候进行Namenode切换。Namenode只能配置一主一备，不能多于两个Namenode。主Namenode处理所有的操作请求（读写），而Standby只是作为slave，用来同步主Namenode的状态，保证发生故障时能够快速切换。为了使Standby Namen.

1. 心跳机制和重新复制每个 DataNode 定期向 NameNode 发送心跳消息。如果超过指定时间没有收到心跳消息，则将 DataNode 标记为死亡。NameNode 不会将任何新的 IO 请求转发给标记为死亡的 DataNode，也不会再使用这些 DataNode 上的数据。由于数据不再可用，可能会导致某些块的副本个数小于其默认值，NameNode 会跟踪这些块，并在必要的时候进行重新复制.2. 数据的完整性由于存储设备故障等原因，存储在 DataNode 上的数据块也会发生损坏。为了

1. 读流程客户端首先带着读取路径向NameNode发送读取请求NameNode接收到请求后,会先判断是否有权限,读取文件是否存在等等,如果都无误则将 文件所在的DataNode的节点位置,发送给客户端部分或者全部的DataNode的节点位置客户端得到文件块存储的位置后,会调用read()方法,去读取数据在读取之前会先进行一个checksum的操作,去判断一下校验和是否正确,正确则读,不正确 则去下一个存放该block块的DataNode节点上读取读取完NameNode这次发送过来

HDFS视硬件错误为常态，硬件服务器随时有可能发生故障。 为了容错，文件的所有 block 都会有副本。每个文件的 block 大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。 数据副本默认保存三个副本，我们可以更改副本数以提高数据的安全性 在hdfs-site.xml当中修改dfs.replication配置属性，即可更改文件的副本数低版本Hadoop副本节点选择

数据块 hdfs将所有的文件全部抽象成为block块来进行存储，不管文件大小，全部一视同仁都是以block块的统一大小和形式进行存储，方便我们的分布式文件系统对文件的管理基本概念所有的文件都是以block块的方式存放在HDFS文件系统当中，在Hadoop1当中，文件的block块默认大小是64M，Hadoop2当中，文件的block块大小默认是128M，block块的大小可以通过hdfs-site.xml当中的配置文件（dfs.block.size）进行指定。一个文件100M，上传.

高容错保存多个副本，且提供容错机制。 副本丢失或宕机自动恢复，默认存3份。系统故障是不可避免的，如何做到故障之后的数据恢复和容错处理是至关重要的。HDFS通过多方面保证数据的可靠性，多份复制并且分布到物理位置的不同服务器上，数据校验功能、后台的连续自检数据一致性功能都为高容错提供了可能。故障类型节点失败（DN服务挂了）节点没坏，网络坏了数据块损坏（不稳定的网络传输、磁盘损坏）故障检测机制节点失败检测机制数据错误检测机制读写容错机制读：CheckSum 校验和.

HDFS架构和组成Hdfs 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成NameNode， DataNode，client，和SencondayNameNode组成NameNode(Master)：管理 HDFS 的命名空间，维护元数据。接收客户端的请求。管理数据块（Block）映射信息.配置副本策略DataNode(Slave)：存储实际的数据块 。执行数据块的读/写操作。向namenode上传心跳信息。Client(客户端)：1、文件上传 HDFS

1. 简单的介绍一下HDFS(HDFS是什么?)HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。HDFS使用Master和Slave结构对集群进行管理。一般一个 HDFS 集群只有一个 Namenode 和一定数目的Datanode

集群角色介绍Spark是基于内存计算的大数据并行计算框架，实际中运行计算任务肯定是使用集群模式，那么我们先来学习Spark自带的standalone集群模式了解一下它的架构及运行机制。Standalone集群使用了分布式计算中的master-slave模型，master是集群中含有master进程的节点slave是集群中的worker节点含有Executor进程●Spark架构图如下(先了解)：集群规划node01:masternode02:slave/workernode03:slav

1.上传安装,解压●解压重命名cd /export/serverstar spark-2.2.0-bin-2.6.0-cdh5.14.0.tgzmv spark-2.2.0-bin-2.6.0-cdh5.14.0 spark1234●注意：如果有权限问题，可以修改为root，方便学习时操作，实际中使用运维分配的用户和权限即可chown -R root /export/servers/sparkchgrp -R root /export/servers/spark12●解压目录说

**Spark官方介绍**●Spark是什么Apache Spark是用于大规模数据处理的统一分析引擎Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。●官网http://spark.apache.orghttp://spark.apachecn.org​​​​​​​ Spark特点●快与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10

package com.czxy.demo01;import org.apache.commons.lang3.StringUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FSDataOutputStr...

1、进入HBase客户端命令操作界面$ bin/hbase shell2、查看帮助命令hbase(main):001:0> help3、查看当前数据库中有哪些表hbase(main):002:0> list4、创建一张表创建user表，包含info、data两个列族hbase(main):010:0> create 'user', 'info', 'data...

开发javaAPI操作HBase表数据1、创建表myuserpublic static void createTable() throws IOException { Configuration conf =new Configuration(); //连接hbase集群不需要指定hbase主节点的ip地址和端口号 conf.set("hbase.zookeepe...

HBase的java代码开发熟练掌握通过使用java代码实现HBase数据库当中的数据增删改查的操作，特别是各种查询，熟练运用第一步：创建maven工程，导入jar包<repositories> <repository> <id>cloudera</id> <url>h...

本题是一个综合练习题目总共包括以下部分：1.数据的预处理阶段2.数据的入库操作阶段3.数据的分析阶段4.数据保存到数据库阶段5.数据的查询显示阶段给出数据格式表和数据示例，请先阅读数据说明，再做相应题目。数据说明：表1-1 视频表表1-2 用户表原始数据：qR8WRLrO2aQ:mienge:406:People & Blogs:599:2788:5:1:0:4U...

1）海量存储Hbase适合存储PB级别的海量数据，在PB级别的数据以及采用廉价PC存储的情况下，能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性，才为海量数据的存储提供了便利。2）列式存储这里的列式存储其实说的是列族存储，Hbase是根据列族来存储数据的。列族下面可以有非常多的列，列族在创建表的时候就必须指定。3）极易扩展Hbase的扩展性主...

1、关系型数据库结构：数据库以表的形式存在支持FAT、NTFS、EXT、文件系统使用Commit log存储日志参考系统是坐标系统使用主键（PK）支持分区使用行、列、单元格功能：支持向上扩展使用SQL查询面向行，即每一行都是一个连续单元数据总量依赖于服务器配置具有ACID支持适合结构化数据传统关系型数据库一般都是中心化的支持事务支持Join2、HBas...

1、HDFS为分布式存储提供文件系统针对存储大尺寸的文件进行优化，不适用对HDFS上的文件进行随机读写直接使用文件数据模型不灵活使用文件系统和处理框架优化一次写入，多次读取的方式2、HBase提供表状的面向列的数据存储针对表状数据的随机读写进行优化使用key-value操作数据提供灵活的数据模型使用表状存储，支持MapRed...

简介hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储结构化和半结构化的松散数据。Hbase查询数据功能很简单，不支持join等复...

1．impala-shell外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置，用于修改命令执行环境。impala-shell –h可以帮助我们查看帮助手册。也可以参考课程附件资料。比如几个常见的：impala-shell –r刷新impala...

1．安装前提集群提前安装好hadoop，hive。hive安装包scp在所有需要安装impala的节点上，因为impala需要引用hive的依赖包。hadoop框架需要支持C程序访问接口，查看下图，如果有该路径下有这么文件，就证明支持C接口。2．下载安装包、依赖包由于impala没有提供tar包进行安装，只提供了rpm包。因此在安装impala的时候，需要使用rpm包来进行安装。rpm...

1．Impala基本介绍impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sql工具impala是参照谷歌的新三篇论文（Caffeine–网络搜索引擎、Pregel–分布式图计算、Dremel–交互式分析工具）当中的Dremel实现而来，其中旧三篇...

分桶表将数据按照指定的字段进行分成多个桶中去，说白了就是将数据按照字段进行划分，可以将数据按照字段划分到多个文件当中去开启hive的桶表功能set hive.enforce.bucketing=true;设置reduce的个数set mapreduce.job.reduces=3;创建桶表create table course (c_id string,c_name string...

分区表：在大数据中，最常用的一种思想就是分治，我们可以把大的文件切割划分成一个个的小的文件，这样每次操作一个小的文件就会很容易了，同样的道理，在hive当中也是支持这种思想的，就是我们可以把大的数据，按照每天，或者每小时进行切分成一个个的小的文件，这样去操作小的文件就会容易得多了创建分区表语法create table score(s_id string,c_id string, s_scor...

外部表：外部表说明：外部表因为是指定其他的hdfs路径的数据加载到表当中来，所以hive表会认为自己不完全独占这份数据，所以删除hive表的时候，数据仍然存放在hdfs当中，不会删掉管理表和外部表的使用场景：每天将收集到的网站日志定期流入HDFS文本文件。在外部表（原始日志表）的基础上做大量的统计分析，用到的中间表、结果表使用内部表存储，数据通过SELECT+INSERT进入内部表。操作...

创建数据库与创建数据库表创建数据库操作创建数据库create database if not exists myhive;use myhive;说明：hive的表存放位置模式是由hive-site.xml当中的一个属性指定的<name>hive.metastore.warehouse.dir</name><value>/user/hive/w...

SQL Join联接子句用于在两个或更多在数据库中的表的记录组合。JOIN是通过使用从两个表字段共通的值组合连接起来。MySQL官方只提供了三种join方式，内连接、左连接和右连接，不支持其他的连接关键字。但是可以通过一定的语法将达到其他的连接的效果。1.内连接 inner join最频繁使用的和重要的联接是INNER JOIN。它也被称为一个等值连接。INNER JOIN通过结合基于联接谓...

1．采集目录到HDFS采集需求：服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去根据需求，首先定义以下3大要素采集源，即source——监控文件目录 : spooldir下沉目标，即sink——HDFS文件系统 : hdfs sinksource和sink之间的传递通道——channel，可用file channel 也可以用内存chann...

二、Flume安装部署Flume的安装非常简单上传安装包到数据源所在节点上然后解压 tar -zxvf apache-flume-1.8.0-bin.tar.gz然后进入flume的目录，修改conf下的flume-env.sh，在里面配JAVA_HOMEexport JAVA_HOME=/export/servers/apache-flume-1.8.0-binexport P...

1．概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。Flume支持定制各类数据...

第一种交互方式：Hive交互shellcd /export/servers/hive-1.1.0-cdh5.14.0bin/hive查看所有的数据库hive (default)> show databases;创建一个数据库hive (default)> create database myhive;使用该数据库并创建数据库表hive (default)> ...

mysql数据库的安装（使用yum源进行安装，强烈推荐）第一步：在线安装mysql相关的软件包yum install mysql mysql-server mysql-devel第二步：启动mysql的服务/etc/init.d/mysqld startchkconfig mysqld on第三步：进入mysql的客户端然后进行授权use mysql;配置远程连接 ...

HIVE的安装部署我们在此处选择第三台机器作为我们hive的安装机器安装derby版hive直接使用：1、解压hivecd /export/softwarestar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/1、直接启动 bin/hivecd ../servers/cd hive-1.1.0-cdh5.14.0/bin...

一、Hive基本概念1.1、Hive简介什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。为什么使用Hive直接使用hadoop所面临的问题人员...

MapReduce框架处理数据的基本流程WordCount计算需求：计算每个单词出现的次数原始数据zhangsan,lisi,wangwuzhaoliu,maqizhangsan,zhaoliu,wangwulisi,wangwu期望的最终zhangsan 2lisi 2wangwu 3zhaoliu 2maqi 1偏移量每个字符移动到当前文档的最前面需要移动的字符...

什么是计算框架是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。MapReduce计算框架什么是并行计算框架一个大的任务拆分成多个小任务，将多个小任务分发到多个节点上。每个节点同时执行计算。Hadoop为什么比传统技术方案快1、分布式存储2、分布式并行计算3、节点横向扩展4、移动程序到数据端5、多个数据副本MapReduce核心思想分而治之，先分后和：将一个大...

退役旧数据节点目标：掌握HDFS在集群中删除掉无效节点的步骤第一步：创建dfs.hosts.exclude配置文件在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件，并添加需要退役的主机名称node01执行以下命令cd /export/servers/hadoop-2...

服役新数据节点目标：掌握HDFS新添加节点到集群的步骤需求基础：随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。准备新节点第一步：复制一台新的虚拟机出来将我们纯净的虚拟机复制一台出来，作为我们新的节点第二步：修改mac地址以及IP地址修改mac地址命令vim /etc/udev/rules.d/70-p...

前提：不使用SNN,日志文件会很大，日志大会导致集群恢复到上次关机前的状态花费很长时间，这个时候集群处于安全模式，集群不可用。长时间处于安全模式。目标：加快集群二次启动的速度。（减少集群二次启动的时间）SecondaryNamenode周期性复制NameNode的FSIMAGE 和edits到本机（SecondaryNamenode本机），将两个文件进行合并，最终生成全新的Fsimage,...

NameNode元数据解析（1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载edits和fsimage文件到内存。（2）客户端对元数据进行增删改的请求。（3）namenode记录操作日志，更新滚动日志。（4）namenode在内存中对数据进行增删改查。Fsimage EditsFsimage 记录HDFS文件系统的镜像快照（周期...

我曾经带过一个女生。很伶俐大方的一个小姑娘，211院校毕业生，怎么都傻不了。当时分配给她的是类似这样的一个任务。首先上游函数会传来这么一个文本表格：1 2 3 4 T2 4 6 8 F1 3 5 7 T这个表格存于变量textTable中，需要调用lines = split(textTable, ‘
’)按行拆分，执行后print lines[0]结果为：1 2 3 4 ...

HDFS 特性1.海量数据存储： HDFS可横向扩展，其储存文件可以支持PB级别数据2.高容错性： 节点丢失，系统依然可用，数据保存多个副本，副本丢失后自动回复。可构建在廉价（与小型机大型机比）的机器上， 实现线性扩展（随着节点数量的增加，集群的存储能力，计算能力随之增加）3.大文件存储：DFS采用数据块的方式存储数据，将一个大文件切分成多个小文件，分布存储HDFS 缺点1.不能做到低...

目标：掌握HDFS操作数据的命令1）基本语法bin/hdfs dfs 具体命令2）参数大全[root@node01 Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfsUsage: Hadoop fs [generic options][-appendToFile … ][-cat [-ignoreCrc] …][-checksum …][-chgrp...

DateNode作用1.执行数据的读写（响应的是客户端）2.周期性向NameNode做汇报（数据块的信息，校验和）若datanode10分钟没有向NameNode做汇报，表示已丢失（已宕机）心跳周期 3秒3.执行流水线的复制（一点一点复制）...

Hadoop组成Hadoop HDFS：一个高可靠、高吞吐量的分布式文件系统，对海量数据的存储。Hadoop MapReduce：一个分布式的资源调度和离线并行计算框架。Hadoop Yarn：基于HDFS,用于作业调度和集群资源管理的框架。Hadoop Common：Hadoop工具包，支持其他模块的工具模块（Configuration、RPC、序列化机制、日志操作）1、 H...

Hadoop集群安装部署（准备工作）1、 关闭防火墙/etc/init.d/iptables stopchkconfig iptables off2、 关闭selinux3、修改主机名4、ssh无密码拷贝数据特别说明（在主节点无密码访问到从节点）ssh-keygenssh-copy-id 192.168.100.201ssh-copy-id 192.168.100.202ssh...

答案在最下面cron 后台常驻程序 (daemon) 用于：A. 负责文件在网络中的共享B. 管理打印子系统C. 跟踪管理系统信息和错误D. 管理系统日常任务的调度在大多数Linux发行版本中，以下哪个属于块设备 (block devices) ？A. 串行口B. 硬盘C. 虚拟终端D. 打印机下面哪个Linux命令可以一次显示一页内容？A. pauseB. ...

大数据介绍1.什么是大数据大数据 ：指数据集的大小超过了现有典型的数据库软件和工具的处理能力的数据。2.大数据的特点主要特点海量化（Volume）数据量从TB到PB级别多样化（Variety）数据类型复杂，超过80%的数据是非结构化的快速化（Velocity)数据量在持续增加(两位数的年增长率)数据的处理速度要求高高价值（Value）在海量多样数据的快速分析下能够发挥出...

linux集群的部署​ 1、在虚拟机中实例三个虚拟机主机，三个虚拟主机需要配置IP，且两两之间可以ping通​ 2、关闭防火墙（需要在所有的主机中进行设置）​ /etc/init.d/iptables stop​ chkconfig iptables off​ 3、关闭selinux （需要在所有的主机中进行设置）​ 编辑文件 vi /etc/selinux/conf...

JDK安装步骤​ 1、上传解压 JDK安装包​ mkdir -p /export/soft​ mkdir -p /export/install​ 2、创建java的配置文件​ 在/etc/profile.d目录内创建java.sh文件，编辑一下内容​ export JAVA_HOME=/export/install/jdk1.8.0_144 （j...

linux 挂载iso文件​ 方式1​ 通过vm 虚拟软件“设置”-》cd/dvd-》设置ISO 映像。选中“开机链接”和“已连接”​ 创建一个iso挂载的目录 /mnt/cdrom​ lsblk -fsr0 iso9660 CentOS_6.9_Final​ 执行挂载命令：mount /dev/sr0 /mnt/cdrom​ [root@node01 ...

目标：将一个新硬盘能够挂载到linux 系统上（开机自动挂载）第一步：查看当前系统磁盘挂载​ 查看系统硬盘挂载情况： lsblk -f （老师不离开）sda├─sda1 ext4 7cc94e03-8b1a-4845-97fb-49a2c39afd8c /boot├─sda2 ext4 fe1d0...

目标：将一个新硬盘能够挂载到linux 系统上（开机自动挂载）第一步：查看当前系统磁盘挂载​ 查看系统硬盘挂载情况： lsblk -f （老师不离开）sda├─sda1 ext4 7cc94e03-8b1a-4845-97fb-49a2c39afd8c /boot├─sda2 ext4 fe1d0...

2. Shell 编程1.简介Shell 是一个用 C 语言编写的程序，通过 Shell 用户可以访问操作系统内核服务。Shell 既是一种命令语言，又是一种程序设计语言。Shell script 是一种为 shell 编写的脚本程序。Shell 编程一般指 shell脚本编程，不是指开发 shell 自身。Shell 编程跟 java、php 编程一样，只要有一个能编写代码的文本编辑...

1.管道命令大全1.1 cut 1.2 sort 1.3 wc 1.4 uniq 1.5 tee 1.6 tr 1.7 split 1.8 awk 1.9 sed1.1 cutcut 根据条件 从命令结果中 提取 对应内容举个栗子：截取出1.tx...

关于linux的解压缩，sudo命令和权限问题1.解压缩命令创建压缩包：tar -zcvf 压缩包名称 被打包压缩的文件或目录​ z: gzip格式​ j：bzip2格式​ c: 创建包​ v:显示详细信息​ f: 指定文件​ 解压压缩文件： tar -z/jxvf 压缩包文件 -C 目录​ x:解压文件/提取文件​ -C 解压到...