大きい Data さん

天下事,人能为,我亦能为!!!

HBase看完这篇你还有什么不懂?(HBase API-1.2常用类及java代码实现)

一、基本类 1、Admin类 管理可以用于创建、删除、列出、启用和禁用表、添加和删除表列族以及其他管理操作。 2、Connection接口 一个集群连接,封装了与实际服务器的低级别单独连接以及与zookeeper的连接。 连接通过ConnectionFactory类实例化。 连接的生命周期...

2019-05-04 21:14:55

阅读数 638

评论数 2

秒懂Hive架构!!!

Hive简介 Hive是为了简化用户编写MapReduce程序而生成的一种框架,Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统,Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce。Hive可以认为是MapReduce的一个...

2019-04-23 21:23:44

阅读数 2961

评论数 0

1000行 MySQL 学习笔记,不怕你不会,就怕你不学!

Windows服务 -- 启动MySQL net start mysql -- 创建Windows服务 sc create mysql binPath= mysqld_bin_path(注意:等号与值之间有空格 连接与断开服务器 mysql -h 地址 -P 端口 -u 用户名 ...

2019-04-10 20:17:12

阅读数 330

评论数 1

你想知道关于hive的所有东西都在这了

官方教程 工作中经常用到的SQL语句,原来都在这里... 有了这个链接,工作用到hive就不用愁了... 传送门:https://cwiki.apache.org/confluence/display/Hive/Tutorial#Tutorial-Dynamic-PartitionInser...

2019-05-19 12:41:12

阅读数 87

评论数 0

MapReduce作业提交流程(详解)

文章来源:知乎 原文链接:职业法师刘海柱 1、客户端,提交MapReduce作业 2、YARN的资源管理器(Resource Manager),协调集群中计算资源的分配 3、YARN的节点管理器(Node Manager),启动并监控集群中的计算容器 4、MapReduce...

2019-05-17 15:10:26

阅读数 58

评论数 0

23种设计模式--单例模式

来自: 知乎 作者:Sunshine·He(高富帅的主页) 文章地址:https://zhuanlan.zhihu.com/p/61257918 1.前言 在Java开发过程中,很多场景下都会碰到或要用到单例模式,在设计模式里也是经常作为指导学习的热门模式之一,相信每位开发同事都用到过。...

2019-05-14 22:11:07

阅读数 85

评论数 0

[面试]——深入理解JVM学习笔记

引 今天周五,工作不算忙,人都走的差不多了,学习不能停,不管是在csdn,还是腾讯云社区经常看到王磊大神的博客,他的jvm系列的文章真的写的不错,值得深扣,看不进去书,那就站在巨人的肩膀上,肯定看的更远!!! JVM是Java Virtual Machine的缩写,中文翻译为Java虚拟...

2019-05-10 20:02:23

阅读数 222

评论数 0

千万千万不要运行的 Linux 命令,不信可以拿别人的电脑试试!

来源:Linux中国 https://linux.cn/article-401-1.html  文中列出的命令绝对不可以运行,即使你觉得很好奇也不行,除非你是在虚拟机上运行(出现问题你可以还原),因为它们会实实在在的破坏你的系统。所以不在root等高级管理权限下执行命令是很好的习惯。   早...

2019-05-08 10:40:51

阅读数 279

评论数 0

Python的常用函数代码示例(不能再删了,常用的就这么点了!!!!)

依赖:Anaconda3 ''' 函数定义 方法名称 参数列表 返回值 方法体 ''' def func(): print("hello") #函数调用 func() #带参数的函数 def func2(a,b): pr...

2019-05-07 19:13:47

阅读数 121

评论数 0

NOSQL--LSM树

今天猛龙的球服是真好看,神一样的男人又回来了!!!! 1、磁盘IO 磁盘读写时涉及到磁盘上数据查找,地址一般由柱面号、盘面号和块号三者构成。也就是说移动臂先根据柱面号移动到指定柱面,然后根据盘面号确定盘面的磁道,最后根据块号将指定的磁道段移动到磁头下,便可开始读写。 整个过程主要有三部分...

2019-05-06 21:18:26

阅读数 138

评论数 0

[面试]二叉搜索树(bst)——java代码实现

天气越来越热了,很快就到和太阳肩并肩的季节了,今天上班很累,本来不想打开电脑,鉴于高同学面试被问的一脸懵逼,拼了老命low一眼,不算亏,然后洗洗,睡个好觉做个好梦,明日は元気いっぱいです。 一、简介 二叉排序树的查找过程和次优二叉树类似,通常采取二叉链表作为二叉排序树的存储结构。中序遍历...

2019-05-05 20:56:44

阅读数 139

评论数 0

漫画算法——红黑树

五一假期浪了三天,学习是什么东东?,今早起床看到一篇不错的文章,分享给大家,祝大家五一最后一天假期快乐!!! 传送门: 漫画算法:什么是红黑树? ...

2019-05-04 11:26:26

阅读数 309

评论数 0

HBase架构及其读写流程

一、HBase架构 Client 包含访问HBase的接口并维护cache来加快对HBase的访问 Zookeeper 保证任何时候,集群中只有一个活跃master 存贮所有Region的寻址入口。 实时监控Region server的上线和下线信息。并实时通知Master 存储...

2019-04-29 08:43:47

阅读数 79

评论数 0

Hbase数据模型

表(table): 表的作用将存储在HBase的数据组织起来。 行健(rowkey): 行的唯一标示类似于主键; 按照字典序进行排序储存;最大长度是64KB,但是建议长度是10-100byte. 列族(column family): 在行中的数据都是根据列族分组; 在hba...

2019-04-27 17:54:44

阅读数 96

评论数 0

Hive性能优化大全

核心思想:是将hive程序当做mapreduce程序进行优化; hive中sql语句转化为MapReduce的过程,整个编译过程分为6个阶段: 1).Antlr定义Sql的语法规则,完成SQL词法,语法解析,将SQL转化为 抽象语法树AST Tree。 2).遍历抽象语法树AST Tree,...

2019-04-27 14:04:15

阅读数 117

评论数 0

常用hive操作

1、创建数据库 create database mydb; create database if not exists mydb; create database if not exists mydb location "/usr"; 2、查询数据库 查询库列表:...

2019-04-24 22:15:17

阅读数 85

评论数 0

Storm (容错机制、DRPC、事务)

一、Storm 容错机制 1、集群节点宕机 Nimbus服务器 : 单点故障 非Nimbus服务器 : 故障时,该节点上所有Task任务都会超时,Nimbus会将这些Task任务重新分配到其他服务器上运行。 2、进程挂掉 Worker:挂掉时,Supervisor会重新启动这个进程。如果...

2019-04-22 20:45:45

阅读数 75

评论数 0

ElasticSearch——RESTful接口+核心概念

前言 ES使用了倒排索引(inverted index),该结构对于全文检索非常快。倒排索引包括一个在任意文档中出现的唯一性的词语列表,对于每个词语,都有一个它出现过的文档列表。 倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地...

2019-04-21 17:18:12

阅读数 50

评论数 0

论Redis持久化

        Redis支持RDB和AOF两种持久化机制。持久化功能有效地避免因进程退出造成的数据丢失问题,下次重启时利用之前持久化的文件即可实现数据恢...

2019-04-21 15:58:30

阅读数 57

评论数 0

Storm计算模型——java(模拟实现经典案例)

一、storm计算模型 1、Topology – DAG有向无环图的实现 对于Storm实时计算逻辑的封装,即,由一系列通过数据流相互关联的Spout、Bolt所组成的拓扑结构 生命周期:此拓扑只要启动就会一直在集群中运行,直到手动将其kill,否则不会终止(区别于MapReduce当中的Jo...

2019-04-18 19:42:12

阅读数 109

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭