weixin_44909266的博客

原创 Spark核心=＞RDD

原创 HQL基础

HIVE的基本操作数据库操作：create database mydb ;//加数据库说明create database mydb1 comment ‘…’;//查看数据库desc database mydb;//查看详细数据库descdatabase extended mydb;//添加数据库的信息alter database mydb set owner user sss;use mydb;create table tb_user(id int,name string);alt

原创 HBase性能优化

一、HBase性能优化方案（一）：表的设计a.Pre-Creating Regions：    默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入...

原创 Hbase架构

Hbase架构    hbase介绍：HBase是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。主要用来存储非结构化和半结构化的松散数据。a.目录表    hbase:meta作为HBase表存在，从HBase shell的list命令中过滤掉，实际上是一个表，保存系统中所有的region的列表...

原创 hadoop--MapReduce

一、MapReduce运行流程1.默认情况下,一个block块对应一个切片(逻辑切片)2.一个切片对应一个map任务3.map方法的调用:    a.map任务默认按行读取切片数据    b.将读取的行封装为键值对(字节偏移量为key,读取的行为value)    ...

原创 HDFS架构思想

    HDFS（分布式文件系统）是hadoop的核心组件之一，其重要性不言而喻。是    HDFS具有主/从( master/slave)架构。HDFS集群由一个NameNode和许多DataNode组成，NameNode是一个主服务器(master)，管理文件系统名称空间并管理客端对数据的访问。此外集群中每个节...

原创 解析插入排序算法

插入排序算法解析    基本思想：将一个记录插入到已排好序的序列中，从而得到一个新的有序序列（将序列的第一个数据看成是一个有序的子序列，然后从第二个记录逐个向该有序的子序列进行有序的插入，直至整个序列有序）    假设给定一个数组arr = {4，8，6，2，7，3，5，1，9}  &nbsp...

原创 解析快速排序算法

快速排序算法快速排序采用了分治法：我自己随机给出一个数组为例arr = {4，8，6，7，2，0，9，1，3，5}a.首先选定数组的第一个数作为基准数，即arr[0] = 4为初始基准数。b.然后给出两个初始参数i和j分别指向arr[1]和arr[arr.length-1]，即初始化i=1；j=arr.length-1。c.指向完成后arr[j]先从右向左移动，即j–，直到找到一个数小于...

原创 解析希尔排序算法

希尔排序算法希尔排序是一种基于插入排序的一种改进排序，他的思路是这样的：首先它把较大的数据集合分割成若干个小组（逻辑上分组），然后对每一个小组分别进行插入排序，此时，插入排序所作用的数据量比较小（每一个小组），插入的效率比较高。理论再高，没有实践来的清晰，下面就举个栗子：下面对数组{2，6，8，1，9，5，4，7，3}进行希尔排序：a.首先数组的长度length为9，它的逻辑分组的间隔（增量...