- 博客(27)
- 收藏
- 关注
RSS订阅原创 HBase架构及其读写流程
一、HBase架构Client包含访问HBase的接口并维护cache来加快对HBase的访问Zookeeper保证任何时候，集群中只有一个活跃master存贮所有Region的寻址入口。实时监控Region server的上线和下线信息。并实时通知Master存储HBase的schema和table元数据Master为Region server分配reg...
2019-04-29 08:43:47
716
原创 Hbase数据模型
表(table)：表的作用将存储在HBase的数据组织起来。行健(rowkey):行的唯一标示类似于主键; 按照字典序进行排序储存;最大长度是64KB，但是建议长度是10-100byte.列族(column family):在行中的数据都是根据列族分组；在hbase想要使用列，必须要指定列族，列必须要归属于某一个列族;列族需要在表定义的时候预先给出，...
2019-04-27 17:54:44
1635
原创 Hive性能优化大全
核心思想：是将hive程序当做mapreduce程序进行优化;hive中sql语句转化为MapReduce的过程,整个编译过程分为6个阶段：1).Antlr定义Sql的语法规则，完成SQL词法，语法解析，将SQL转化为 抽象语法树AST Tree。2).遍历抽象语法树AST Tree，抽象出查询的基本组成单元 QueryBlock查询块。3).遍历QueryBlock，翻译为...
2019-04-27 14:04:15
526
原创 常用hive操作
1、创建数据库create database mydb;create database if not exists mydb;create database if not exists mydb location "/usr";2、查询数据库查询库列表：show databases;查询库详细信息：desc database [extended] mydb;查询建库...
2019-04-24 22:15:17
214
原创 秒懂Hive架构!!!
Hive简介Hive是为了简化用户编写MapReduce程序而生成的一种框架，Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统，Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce。Hive可以认为是MapReduce的一个封装、包装。Hive的体系结构可以分为以下几个部分：①用户接口：包括shell命令、J...
2019-04-23 21:23:44
3381
1
原创 Storm （容错机制、DRPC、事务）
一、Storm 容错机制1、集群节点宕机Nimbus服务器 : 单点故障非Nimbus服务器 : 故障时，该节点上所有Task任务都会超时，Nimbus会将这些Task任务重新分配到其他服务器上运行。2、进程挂掉Worker：挂掉时，Supervisor会重新启动这个进程。如果启动过程中仍然一直失败，并且无法向Nimbus发送心跳，Nimbus会将该Worker重新分配到其他服...
2019-04-22 20:45:45
378
原创 ElasticSearch——RESTful接口+核心概念
前言ES使用了倒排索引（inverted index）,该结构对于全文检索非常快。倒排索引包括一个在任意文档中出现的唯一性的词语列表，对于每个词语，都有一个它出现过的文档列表。倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted in...
2019-04-21 17:18:12
1201
原创 论Redis持久化
Redis支持RDB和AOF两种持久化机制。持久化功能有效地避免因进程退出造成的数据丢失问题，下次重启时利用之前持久化的文件即可实现数据恢复。 Redis持久化方式: &n...
2019-04-21 15:58:30
142
原创 Storm计算模型——java(模拟实现经典案例)
一、storm计算模型1、Topology – DAG有向无环图的实现对于Storm实时计算逻辑的封装，即，由一系列通过数据流相互关联的Spout、Bolt所组成的拓扑结构生命周期：此拓扑只要启动就会一直在集群中运行，直到手动将其kill，否则不会终止（区别于MapReduce当中的Job，MR当中的Job在计算执行完成就会终止）2、Tuple – 元组Stream中最小数据组成...
2019-04-18 19:42:12
904
原创 Redis字符串(string)操作详解
序言 Redis的string操作是日常工作中用的比较多的操作，熟记最好，但就是记不住，哎，就只有多看几遍了！## 字符串一种最基本的Redis值类型（字节数组）。Redis字符串是**二进制**安全的，一个Redis字符串能包含任意类型的数据。例如： 一张JPEG格式的图片或者一个序列化的Ru...
2019-04-17 21:44:19
360
原创 Zookeeper功能以及工作原理详解
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。一、 特点二、zookeeper投票...
2019-04-15 20:52:51
776
原创 选择排序
前言 选择排序（Selection sort）是一种简单直观的排序算法。它的工作原理是每一次从待排序的数据元素中选出最小（或最大）的一个元素，存放在序列的起始位置，然后，再从剩余未排序元素中继续寻找最小（大）元素，然后放到已排序序列的末尾。以此类推，直到全部待排序的数据元素排完。 选择排序是不稳定的排序...
2019-04-15 08:57:07
3580
原创 插入排序
1. 插入排序的基本思想 每步将一个待排序的记录，按其关键码值的大小插入前面已经排序的文件中适当位置上，直到全部插入完为止。2. 使用插入排序升序排列一个数组import java.util.Arrays;public class TestInsertSort { publ...
2019-04-14 21:14:34
125
转载 我必须得告诉大家的MySQL优化原理
前言 首先恭喜人类昨天公布了第一张黑洞的照片,今天小编很累,文章格式还待改进,文章最后有彩蛋呦,吐槽一下CSDN文本编辑器不怎么好用是真的!!! 说起MySQL的查询优化，相信大家积累一堆技巧：不能使用SE...
2019-04-11 21:06:24
263
2
转载 1000行 MySQL 学习笔记，不怕你不会，就怕你不学！
Windows服务-- 启动MySQL net start mysql-- 创建Windows服务 sc create mysql binPath= mysqld_bin_path(注意：等号与值之间有空格连接与断开服务器mysql -h 地址 -P 端口 -u 用户名 -p 密码SHOW PROCESSLIST -- 显示哪些线程正在运行SHOW VARIABLE...
2019-04-10 20:17:12
1137
2
原创 HDFS读写文件流程详解
一、 HDFS读文件流程 1、客户端通过FileSystem对象的open方法打开希望读取的文件，DistributedFileSystem对象通过RPC调用namenode，以确保文件起始位置。对于每个block，namenode返回存有该副本的datanode地址。这些datanode根据它们与客户...
2019-04-09 10:12:22
1148
原创 Hadoop HA原理详解
一、手动切换:1、一个NanmeNode进程处于Acrive状态,另一个NameNode处于Standby状态.Active的NameNode负责处理客户端的请求.2、Active的NN修改了元数据之后，会在JNs的半数以上的节点上记录这个日志。Standby状态的NameNode会监视任何对JNs上edit log的更改。一旦edits log出现更改，Standby的NN就会根据edits...
2019-04-09 09:07:58
841
原创 设计模式——迭代器模式
在面向对象编程里，迭代器模式是一种设计模式，是一种最简单也最常见的设计模式。它可以让用户透过特定的接口巡访容器中的每一个元素而不用了解底层的实现。 优点： &n...
2019-04-08 08:53:59
570
原创 HDFS架构简述(模块功能)
1. NameNode(管理文件系统的命名空间) 1). 文件和目录的元数据: 文件的block副本个数 &nb...
2019-04-07 13:02:49
988
原创 SQL语言的分类(DDL,DML,DQL,DCL)
前言今天是清明节假期,虽然是假期但是学习还是不能停止,学习使我快乐,祝大家假期快乐!!!SQL语言的分类SQL语言共分为四大类：数据查询语言DQL，数据操纵语言DML，数据定义语言DDL，数据控制语言DCL。数据查询语言DQL 数据查询语言DQL基本结构是由SELECT子句，FROM子句，W...
2019-04-06 15:19:01
1618
原创 【教程】手把手教你——HDFS伪分布式搭建，你没注意的那些坑都在此文！！！
1、搭建虚拟机4台，今天用一台2、网络配置好，关闭iptables防火墙，关闭selinux3、上传这两个包 start-dfs.shjdk1.7.0_80(jdk版本) hado...
2019-04-06 13:35:52
168
原创 [面试] HashMap,Hashtable, ConcurrentHashMap的区别,此文足以.
前言 今天一个干java的朋友想跳槽,找了一家公司去面试,给面试官用HashMap,Hashtable, ConcurrentHashMap的区别这个问题给干蒙圈了,要是我去我估计也是一样的结果,知识这个东西忘得比学的快,今天下班还算早,就上网上看了看,整理了一下,希望能给即将去面试的老铁门带来帮助吧....
2019-04-03 20:53:31
1056
转载 你的不自律，正在慢慢毁掉你
01.在知乎上看到过这样一个问题，你见过最不求上进的人是什么样子？评论里点赞人数第一的的是:我见过最不求上进的人，他们为现状焦虑，可是又没有毅力下定决心去改变自己，总担心着人生碌碌无为，却也不肯为自己付出，做任何事情都是三分钟热度，坚持最多的事情就是坚持不下去。他们终日的混在社交网络，每天对着手机电脑的冷屏幕，刷着各样的微博和朋友圈，能聊得上天的人却寥寥无几，不看书也不给自己的人生做任何规划...
2019-04-03 19:11:54
462
原创 [精华集成] 归并排序 图解原理 一步到位
归并排序（MERGE-SORT）是建立在归并操作上的一种有效的排序算法,该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。归并排序的核心思想是将两个有序的数列合并成一个大的有序的序列。通过递归，层层合并，即为归并。分治法将问题分(divide)成一些小的问题...
2019-04-02 21:06:10
742
转载 干货！区块链入门、进阶、行业专家观点！1000篇好文帮你破解区块链密码！（下篇）
好的文章值得分享,我不能给你全世界，但是，我的全世界可以全都给你!!https://www.jianshu.com/p/a12049bfc461随着区块链概念理论的不断成熟以及强劲技术的不断深耕，区块链已经成为投资圈中备受关注的热点，从区块链1.0时代落地数字货币比特币、莱特币等，打开了区块链通向新弯道的高速路口，到区块链2.0时代开始通过智能合约来解决货币支付难题，再到3.0时代区块链尝试向...
2019-04-02 10:23:56
298
原创 干货:一文弄懂链表结构,以后再也别问我什么是链表数据结构啦!
链表 [Linked List]：链表是由一组不必相连【不必相连：可以连续也可以不连续】的内存结构 【节点】，按特定的顺序链接在一起的抽象数据类型。链表常用的有 3 类： 单链表、双向链表、循环链表。链表的核心操作集有 3 种：插入、删除、查找【遍历】。
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人