- 博客(8)
- 收藏
- 关注
RSS订阅原创 Scala语言基础（一）
ScalaScala的Hello World1. cala类及方法的定义object HelloWorld {//object 定义了一个HelloWorld /** * def用于定义方法main(), * 其参数名称是args,参数是一个数组Array * 它是一个String类型的数组，String是泛型， * Unit代表无返回值，相当于Java的void...
2019-10-31 09:31:40
349
原创 Java-集合（一）比较器
集合比较器使一个类具备比较的能力需要器实现使其具有比较能力的接口即：Comparable 使继承该接口的类具有比较能力Comparator 单独定义一个比较器继承该接口,通常匿名内部类形式的比较器并且重写接口的方法Comparable接口package testCompartor;import java.util.List;import java.util.ArrayLis...
2019-10-30 21:50:19
814
原创 HBase原理
系统架构从HBase的架构图上可以看出，HBase中的组件包括Client、Zookeeper、HMaster、HRegionServer、HRegion、Store、MemStore、StoreFile、HFile、HLog等，接下来介绍他们的作用。1. Client在 HBase-0.96 版本以前，HBase 有两个特殊的表，分别是-ROOT-表和.META.表，其中-ROOT的位置存...
2019-10-25 21:30:13
235
原创 HBase基本概念
HBae介绍HBase 是 BigTable 的开源（源码使用 Java 编写）版本。是 Apache Hadoop 的数据库，是建 立在 HDFS 之上，被设计用来提供高可靠性、高性能、列存储、可伸缩、多版本的 NoSQL 的分布式数据存储系统，实现对大型数据的实时、随机的读写访问。HBase 依赖于 HDFS 做底层的数据存储，BigTable 依赖 Google GFS 做数据存储HB...
2019-10-25 20:19:42
440
原创 Spark HA集群的安装
所需要的安装环境Hadoop-2.7.7 HA集群安装成功（包含Java8、Zookeeper-1.2.6、hadoop-2.7.7）Scala可以不安装；安装过程解压安装包将安装包解压到相应的文件夹修改配置文件需要修改spark-env.sh、slaves两个配置文件1.复制spark-env.sh.template并重命名为spark-env.sh，在文件最后添加配置内容在...
2019-10-25 12:16:22
212
原创 Java中的集合概述
集合总体介绍Java集合是java提供的工具包，包含了常用的数据结构：集合、链表、队列、栈、数组、映射等。Java集合工具包位置是java.util.*Java集合主要可以划分为4个部分：List列表、Set集合、Map映射、工具类(Iterator迭代器、Enumeration枚举类、Arrays和Collections)、。Java集合工具包框架图(如下)：大致说明看上面的框架图，先...
2019-10-24 22:37:22
116
原创 （一）Hive中HDFS协议地址变化导致的问题
如何修改Hive元数据中的协议地址导致问题的原因分布式集群修改成HA集群，HDFS的协议地址由hdfs://hadoop2:9000变成hdfs://myha01/导致与HDFS协议地址有关的元信息仍然是旧版本的协议地址1.元信息的DBS表，保存所有数据库的基本信息，如下图所示：2.元信息的SDS表，保存所有数据库文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT...
2019-10-24 21:47:40
504
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人