- 博客(6)
- 收藏
- 关注
RSS订阅翻译 Hbase的工作原理
HBase逻辑上的表可能会被划分成多个HRegion，然后存储到HRegion Server群中。HBase Master Server中存储的是从数据到HRegion Server的映射。首先client通过hbase的rpc机制与hmaster和hregion server通信进行管理类的操作和数据的读写操作。HBase中所有的服务器都是通过ZooKeeper来进行协调，HRegionSer...
2018-02-28 09:56:41
361
翻译 MapReduce的shuffle过程
（1）map任务的输入数据一般是保存在分布式文件系统的数据块中的。（2）每个map端都有一个缓存，map的输出会先写入缓存，缓、存中的数据会首先被分区（因为缓存中的数据需要给不同的reduce进行处理，所以要进行分区，默认的HashPartition），对于分区内的键值对，后台线程会根据key对他们进行排序，排序后，还要进行combine合并操作（如果实现定义就执行此操作，如果不事先定义就不需要此...
2018-02-28 09:55:36
337
原创 java集合框架
集合框架是用来装对象的一个容器，并且只能装对象，数组也能装对象，但是数组没有集合中的方法，并且性能没有集合的好，所以此时就需要集合框架。 集合是有接口和类构成的，常用的集合为Collection、List、Set、Map等。 1、Collection a、Collection是一个接口，代表一个集合，定义了一个集合最基本的操作，他有一个Iterable父接口，有子接口对其进行实
2018-01-11 20:49:20
169
1
原创 java关键字final、static、abstract、Interface
1、final： final是定义属性、方法等中常说的其他修饰符，他可以修饰类、属性、方法等。 a、修饰类时，被修饰的类不能被继承，当有的类不想被继承的时候就是用final进行修饰，但需要注意的是，由于重写是子类对父类继承的前提下才可以重写，所以当一个类被final继承的时候就意味着该类中的方法也不能被其他类所重写。 b、修饰方法时，该方法不能被
2018-01-11 13:59:12
207
原创 简单了解Linux
Linux是一款广泛应用于服务器的操作系统，具有完全免费、完全兼容POSIX 1.0标准、多用户、多任务、良好的界面、可靠的安全、稳定性能、支持多种平台等特点。且java 大数据环境都默认支持Linux，Linux有redHat、centos6.5、Ubuntu等版本，本人使用 centos6.5。 Linux可以有多个用户，root是具有最高权限的用户，其他用户之间具有相互隔离，具有
2018-01-10 10:44:48
188
原创 论mysql中有“索引”和没有“索引”的查询速度
索引是数据库的一个对象，索引在数据库中起到向导作用。其主要目的是为了提高对数据库中数据的查询速度，例如：我们在咋点钟查询一个汉字时，通常会先利用文字的偏方部首，汉语拼音来查询，在数据库中，索引就起到了偏旁部首和拼音的作用。但也会降低数据的插入速度。 索引一般会应用在有主键和唯一约束的情况中，在频繁使用对数据库进行查询时索引的应用至关重要。mysql中一般有两种索引方式，一种是hash索引，另一种
2017-11-07 20:28:49
853
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人