- 博客(12)
- 资源 (1)
- 收藏
- 关注
原创 ElasticSearch的简单总结
1. ElasticSearch的核心概念cluster:代表一个集群,代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。es的一个重要概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一 个节点的通信和与整个es集群通信是等价的。shards:代表索引分片,e...
2019-06-07 18:57:46
207
原创 elasticsearch kibana安装
前提条件是已经安装号了eslasticsearch1.lisence安装./plugin install file:/opt/soft/license-2.4.5.zip2.marvel-agent安装./plugin install file:/usr/soft/elasticsearch-2.4.5/marvel-agent-2.4.5.zip3.kibana软件安装...
2019-06-05 20:31:38
160
原创 Hbase的架构和数据模型
简介:hbase是一个高性能,面向列,高纬度,高可靠的分布式实时性数据库。是一个nosql数据库,数据都存在hdfs上。1. Hbase的数据模型rowkey是唯一确定的一行数据。rowkey最大不能超过64KB。按照字典排序。注意:hbase表的设计本质上就是rowkey的设计,合理的rowkey可以防止热点等问题。列簇和列列族再创建表的时候就需要定义creat...
2019-06-02 17:16:30
165
原创 hive总结
Hive1. hive简介hive是一个数据仓库,非Java编程者对HDFS的数据做mapreduce操作。hive是基于hadoop的一个数据仓库工具。数据仓库是用来做查询分析的数据库,基本不用来做修改和删除.hive:数据仓库。hive:解释器,编译器,优化器等。hive运行时,元数据储存再关系型数据库中。(mysql)2. hive的搭建的模式内嵌模式(元数据保存再内嵌的...
2019-05-30 21:21:20
140
原创 Hadoop报错java.lang.UnsupportedClassVersionError: com/sjt/mr/myjob/MyJob : Unsupported major
把jar包丢入HDFS并且运行的时候报错,是因为编译环境不一致导致,windows上用的jdk1.8,linux中的是1.7。只要改变一下windows的编译环境。右键项目工程,选择Properties把环境修改成1.7...
2019-05-17 19:05:21
537
转载 HDFS的读写过程
HDFS的写文件把文件切分成block,然后第一个块响应给namenode,namenode给客户端返回给第一个block储存的地址(包括block副本)。客户端接收到该信息,开始吧块分成更小packet,开始向datanode写入block,类似管道的运输方式运输packet。运输完成返回给客户端信息,客户端再从namenode获取第二个block的位置,重复之。HDFS的读文件客户...
2019-05-15 09:54:57
149
原创 Hadoop之HDFS
HDFS简介HDFS是Hadoop的分布式文件储存系统(Hadoop Distributed File System),主要为了解决大数据的处理问题。HDFS的储存单元HDFS会将一个文件分成固定大小的数据块,将其进行分布储存,储存到不同的节点上。为了防止部分服务器宕机,储存还会储存副本,默认为每个数据块有3个副本,并且储存在不同的数据节点上。NameNodeNameNode...
2019-05-13 22:09:58
128
原创 从git上传到github仓库
本文快速上手git上传代码到远程仓库。*1.初始化本地库新建一个文件夹。在没有初始化本地库前,文件夹是这样的。![在这里插入图片描述](https://img-blog.csdnimg.cn/20190412192548165.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0c...
2019-04-12 19:55:00
143
原创 mybatis使用generator插件生成dao层代码
<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE generatorConfiguration PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN" "http://mybatis.org/dtd/mybatis-ge...
2019-04-12 19:14:38
186
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人