NoSQL
北山璎珞
私はこのjianghuが好き
展开
-
HBase启动问题(一) org/apache/hadoop/hbase/master/ClusterSchema
org/apache/hadoop/hbase/master/ClusterSchema原创 2022-09-08 16:30:41 · 851 阅读 · 1 评论 -
HBase的java代码开发(完整源码)
熟练掌握通过使用java代码实现HBase数据库当中的数据增删改查的操作,特别是各种查询,熟练运用第一步:创建maven工程,导入jar包<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client --><dependency> <groupId>org.apache.hbase</groupId> &l原创 2020-06-08 22:13:05 · 1483 阅读 · 0 评论 -
HBase学习(总)
1.HBase基本介绍2.HBase的基础架构及环境搭建3.HBase常用shell操作4.HBase的高级shell管理命令5.HBase的java代码开发6.HBase底层原理以及三个重要机制7.HBase与MapReduce的集成原创 2020-06-05 22:32:51 · 239 阅读 · 0 评论 -
kibana报表展示
官网对于kibana的基本简介https://www.elastic.co/guide/cn/kibana/current/index.htmlkibana是一个强大的报表展示工具,可以通过kibana自定义我们的数据报表展示,实现我们的数据的各种图表查看第一步:下载数据集下载账户数据集https://download.elastic.co/demos/kibana/gettingstarted/accounts.zip下载日志数据集https://download.elastic.co/de原创 2020-06-05 22:22:43 · 2674 阅读 · 0 评论 -
LogStash介绍及安装(附资料)
官网:https://www.elastic.co/guide/en/logstash/current/index.html1、介绍logstash就是一个具备实时数据传输能力的管道,负责将数据信息从管道的输入端传输到管道的输出端;与此同时这根管道还可以让你根据自己的需求在中间加上滤网,Logstash提供里很多功能强大的滤网以满足你的各种应用场景。是一个input | filter | output 的数据流。2 、node01机器安装LogStash下载logstache并上传到第一台服务器的原创 2020-06-04 22:38:18 · 1256 阅读 · 0 评论 -
elasticsearch 的sql插件使用
对于这些复杂的查询,es使用javaAPI都可以实现,但是相较于sql语句来说,我们更加熟悉sql语句,所以es也提供了sql语句的开发,让我们通过sql语句即可实现ES的查询,接下来我们就来安装并学习sql的插件的使用方法吧!在es版本6.3之前都不支持sql语句的开发,如果需要使用sql语句来开发es的数据查询,那么我们需要手动的自己安装插件,插件下载地址如下,地址:https://github.com/NLPchina/elasticsearch-sql/但是在6.3版本之后,es自带就安装了原创 2020-06-04 07:26:48 · 1834 阅读 · 0 评论 -
ES的java操作高级API(完整源码)
完整源码:链接:https://pan.baidu.com/s/1ncipCxAZG0DR0YZBlyBmhQ提取码:bgje现有结构化数据内容如下:初始化一批数据到es索引库当中去/** * 批量添加数据 * @throws IOException * @throws ExecutionException * @throws InterruptedException */ @Test public void addIndexDa原创 2020-06-04 07:13:44 · 2735 阅读 · 0 评论 -
Java API访问ELK集群(完整代码)
1、导入pom<dependencies> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>transport</artifactId> <version>6.7.0</version> </dependency> <dependen原创 2020-06-03 22:54:52 · 828 阅读 · 0 评论 -
分页解决方案及IK分词器安装使用、分片交互过程
一 分页1、导入数据DELETE usPOST /_bulk{ "create": { "_index": "us", "_type": "tweet", "_id": "1" }}{ "email" : "john@smith.com", "name" : "John Smith", "username" : "@john" }{ "create": { "_index": "us", "_type": "tweet", "_id": "2" }}{ "email" : "mary@jone原创 2020-05-31 20:42:46 · 875 阅读 · 0 评论 -
Kibana安装及基本操作(附资源)
kibana的基本介绍Kibana是一个开源的分析和可视化平台,设计用于和Elasticsearch一起工作。你用Kibana来搜索,查看,并和存储在Elasticsearch索引中的数据进行交互。你可以轻松地执行高级数据分析,并且以各种图标、表格和地图的形式可视化数据。Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板,实时显示Elasticsearch查询的变化。接着使用我们的es用户在node01服务器上面来实现我们的kibana的安装部署一原创 2020-05-31 15:14:54 · 2382 阅读 · 0 评论 -
ELK技术栈合集
一原创 2020-05-29 00:35:04 · 328 阅读 · 0 评论 -
es安装elasticsearch-head插件(附资源)
由于es服务启动之后,访问界面比较丑陋,为了更好的查看索引库当中的信息,我们可以通过安装elasticsearch-head这个插件来实现,这个插件可以更方便快捷的看到es的管理界面1 、node01机器安装nodejsNode.js是一个基于 Chrome V8 引擎的 JavaScript 运行环境。Node.js是一个Javascript运行环境(runtime environment),发布于2009年5月,由Ryan Dahl开发,实质是对Chrome V8引擎进行了封装。Node.js 不原创 2020-05-29 00:30:17 · 2804 阅读 · 1 评论 -
elasticsearch的集群部署(含资源)
第一步:创建普通用户注意:ES不能使用root用户来启动,必须使用普通用户来安装启动。创建一个es专门的用户(必须)#使用root用户在三台机器执行以下命令useradd es mkdir -p /export/servers/eschown -R es /export/servers/espasswd es第二步:为普通用户es添加sudo权限为了让普通用户有更大的操作权限,我们一般都会给普通用户设置sudo权限,方便普通用户的操作三台机器使用root用户执行visudo命令然后为e原创 2020-05-28 23:42:55 · 677 阅读 · 1 评论 -
Elasticsearch介绍
1、什么是ElasticSearchElaticsearch,简称为es, es是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。2、ElasticSearch使用案例• 2013年初,GitHub抛弃了Solr,采取ElasticSearch 来原创 2020-05-28 22:52:39 · 238 阅读 · 0 评论 -
ELK日志协议栈介绍
1、集中式日志系统一个完整的集中式日志系统,是离不开以下几个主要特点的。• 收集-能够采集多种来源的日志数据• 传输-能够稳定的把日志数据传输到中央系统• 存储-如何存储日志数据• 分析-可以支持 UI 分析• 警告-能够提供错误报告,监控机制2、ELK 协议栈介绍及体系结构ELK 其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,Elasticsearch,Logstash 和 Kibana。这三款软件都是开源软件,通常是配合使用,而且又先后归于 Elastic.co原创 2020-05-28 22:31:03 · 389 阅读 · 0 评论 -
kafka集群的搭建
1、准备三台机器192.168.77.100 node01192.168.77.110 node02192.168.77.120 node032、初始化环境2.1、安装jdk、安装zookeeper参见之前的jdk以及zk环境安装步骤2.2、安装目录规划安装包存放的目录:/export/softwares安装程序存放的目录:/export/servers三台机器执行以下命令创建统一文件目录mkdir -p /export/servers mkdir -p /export/soft原创 2020-05-18 22:46:08 · 121 阅读 · 0 评论 -
kafka术语
1. kafka中术语介绍Broker:kafka集群中包含一个或者多个服务实例,这种服务实例被称为BrokerTopic:每条发布到kafka集群的消息都有一个类别,这个类别就叫做TopicPartition:Partition是一个物理上的概念,每个Topic包含一个或者多个PartitionProducer:负责发布消息到kafka的Broker中。Consumer:消息消费者,向kafka的broker中读取消息的客户端Consumer Group:每一个Consumer属于一个特定的C原创 2020-05-18 22:24:06 · 686 阅读 · 0 评论 -
kafka简介及应用场景、架构
1、简介kafka是最初由linkedin公司开发的,使用scala语言编写,kafka是一个分布式,分区的,多副本的,多订阅者的日志系统(分布式MQ系统),可以用于搜索日志,监控日志,访问日志等。1.2、支持的语言kafka目前支持多种客户端的语言:java、python、c++、php等1.3、apache kafka是一个分布式发布-订阅消息系统apache kafka是一个分布式发布-订阅消息系统和一个强大的队列,可以处理大量的数据,并使能够将消息从一个端点传递到另一个端点,kafka适合原创 2020-05-18 22:15:37 · 1973 阅读 · 0 评论 -
HBase底层原理以及三个重要机制
系统架构Client1 包含访问hbase的接口,client维护着一些cache来加快对hbase的访问,比如regione的位置信息。Zookeeper1 保证任何时候,集群中只有一个master2 存贮所有Region的寻址入口3 实时监控Region Server的状态,将Region server的上线和下线信息实时通知给Master4 存储Hbase的schema,包括有哪些table,每个table有哪些column familyMaster职责1 为Region s原创 2020-05-18 21:01:29 · 743 阅读 · 0 评论 -
HBase的高级shell管理命令
1、status例如:显示服务器状态hbase(main):058:0> status 'node01'2、whoami显示HBase当前用户,例如:hbase> whoami3、list显示当前所有的表4、count统计指定表的记录数,例如:hbase> count 'user' 5、describe展示表结构信息6、exists检查表是否存在...原创 2020-05-07 20:56:07 · 166 阅读 · 0 评论 -
HBase常用shell操作
1、进入HBase客户端命令操作界面node01服务器执行以下命令进入hbase的shell客户端cd /export/servers/hbase-2.0.0bin/hbase shell2、查看帮助命令hbase(main):001:0> help3、查看当前数据库中有哪些表hbase(main):002:0> list4、创建一张表创建user表,包含inf...原创 2020-05-07 20:54:16 · 815 阅读 · 0 评论 -
HBase的基础架构及环境搭建
一 HBase的基础架构原创 2020-05-07 20:33:32 · 297 阅读 · 0 评论 -
HBase基本介绍
一 简介hbase是bigtable的开源java版本。是建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储结构化和半结构化的松散数据。Hbase查询数据功能很简单,不支持join...原创 2020-06-10 22:07:28 · 191 阅读 · 0 评论 -
redis当中的Sentinel架构
Sentinel(哨兵)是Redis 的高可用性解决方案:由一个或多个Sentinel 实例 组成的Sentinel 系统可以监视任意多个主服务器,以及这些主服务器属下的所有从服务器,并在被监视的主服务器进入下线状态时,自动将下线主服务器属下的某个从服务器升级为新的主服务器。例如:在Server1 掉线后:升级Server2 为新的主服务器:第一步:三台机器修改哨兵配置文件三台机器...原创 2020-04-27 21:16:43 · 155 阅读 · 0 评论 -
redis的主从复制架构
在Redis中,用户可以通过执行SLAVEOF命令或者设置slaveof选项,让一个服务器去复制(replicate)另一个服务器,我们称呼被复制的服务器为主服务器(master),而对主服务器进行复制的服务器则被称为从服务器(slave),如图所示。使用主从复制这种模式,实现node01作为主节点,node02与node03作为从节点,并且将node01所有的数据全部都同步到node02与n...原创 2020-04-26 22:46:19 · 145 阅读 · 0 评论 -
redis的持久化
由于redis是一个内存数据库,所有的数据都是保存在内存当中的,内存当中的数据极易丢失,所以redis的数据持久化就显得尤为重要,在redis当中,提供了两种数据持久化的方式,分别为RDB以及AOF,且redis默认开启的数据持久化方式为RDB方式,接下来我们就分别来看下两种方式的配置吧1、RDB持久化方案介绍1.1 RDB方案介绍Redis会定期保存数据快照至一个rbd文件中,并在启动时自...原创 2020-04-26 22:46:04 · 174 阅读 · 0 评论 -
redis的javaAPI操作(Demo)
redis不仅可以通过命令行进行操作,同时redis也可以通过javaAPI进行操作,我们可以通过使用javaAPI来对redis数据库当中的各种数据类型进行操作第一步:创建maven工程并导入jar包<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0...原创 2020-04-26 22:45:48 · 273 阅读 · 0 评论 -
Linux下的redis环境安装(完整步骤)
第一步:下载redis安装包node01服务器执行以下命令下载redis安装包cd /export/softwareswget http://download.redis.io/releases/redis-3.2.8.tar.gz第二步:解压redis压缩包到指定目录node01执行以下命令进行解压rediscd /export/softwarestar -zxvf redis...原创 2020-04-28 22:06:54 · 997 阅读 · 0 评论 -
Redis的基本介绍以及使用场景
redis官网地址:https://redis.io/中文网站http://www.redis.cn/1. redis的基本介绍Redis是当前比较热门的NOSQL系统之一,它是一个开源的使用ANSI c语言编写的key-value存储系统(区别于MySQL的二维表格的形式存储。)。和Memcache类似,但很大程度补偿了Memcache的不足。和Memcache一样,Redis数据...原创 2020-04-25 13:06:28 · 196 阅读 · 0 评论