- 博客(15)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark的概念、集群管理器、存储层次
本文让我们来聊一聊Spark是什么，以及涉及到的相关概念 1.1 Spark是什么 Spark 是一个用来实现快速而通用的集群计算的平台。 在速度方面，Spark 扩展了广泛使用的 MapReduce 计算模型，而且高效地支持更多计算模 式，包括交互式查询和流处理。 Spark 的一个主要特点就是能够在内存中进行计算，因而更快。不过即使是必须在磁盘上 进行的复杂...
2018-08-29 22:52:27
434
原创 Spark在Linux安装的单机--集群的不同安装模式步骤
本文包含三种模式安装：单机、Standalone、Yarn等一、单机模式 1).下载spark2.1.2.tar.gz 2).解压安装： $>cd /home/hyxy/soft/ $>cp /mnt/hgfs/2.安装环境/download/apache-spark/spark-2.1.2-bin-hadoop2.7...
2018-08-27 21:29:26
323
原创 Scala在IDEA上的安装步骤--简单
Scala 是一门多范式（multi-paradigm）的编程语言， 设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上，并兼容现有的Java程序如何安装Scala??? 1.scala是面向对象的、面向函数的基于静态类型的编程语言。 2.安装Scala，版本选型2.11.8。原因：spar...
2018-08-23 17:57:55
1070
原创 注意区分HBase与Hive之间的定义和区别
HBase 官方定义： Apache HBase™是Hadoop数据库，是一个分布式，可扩展的大数据存储。 当您需要对大数据进行随机，实时读/写访问时，请使用Apache HBase™，Apache HBase是一个开源的，分布式的， 版本化的非关系...
2018-08-16 13:33:41
968
原创 Hive的静态分区 的案例操作
hive中的分区针对{表组织}进行规划的；【静态分区】： 创建静态分区 hive>create table logs(st bigint,line string) >partitioned by (dt string,country string) >row format delimited fields ter...
2018-08-11 15:00:55
326
原创 Hive装载数据 、导出数据
Hive 数据操作 装载数据 既然Hive没有行级数据插入、数据更新和删除操作，那么就使用一种大量数据装载操作； hive>load data 【local】 inpath 'hdfs://data/employees.txt' overwrite into table employees partition ...
2018-08-11 14:40:36
844
原创 Hive对数据库database的创建、修改
前言：Hive中对database的创建、查询、location、修改、删除等操作，作了简单描述1.创建数据库 hive>create database myhive; hive>create database if not exists myhive;2.查询数据库和表 hive>show databases; ...
2018-08-11 13:48:37
25336
1
原创 Hive中相关核心概念与定义
1.什么是Hive? Apache Hive 数据仓库软件便于读,写,和管理大型数据集驻留在分布式存储(Hadoop)使用SQL。 结构可以投影到存储中的数据上。 客户端的连接方式可采用：command line 和 JDBC Driver 注意：Hive实质就是客户端，不存在主从...
2018-08-10 23:03:37
469
原创 开启hiveserver2服务的时候，For compliance with existing applications not using SSL the verifyServerCertifica
前言：执行hiveserver2服务是时候报错：如下 $>hiveserver2 (或者hive --service hiveserver2 &) 18/08/09 16:36:19 WARN conf.HiveConf: HiveConf of name hive.server2.thrift.client.use...
2018-08-09 17:06:32
1332
原创 Hadoop上手动安装MySQL的方法和步骤
前言：Hadoop的基础上安装MySQL,有两种方式：在线安装和手动安装。 本文介绍：手动安装在线安装（https://blog.csdn.net/xiaozelulu/article/details/81513285）1. 手动安装 手动安装MySQL---------------------------------- 1.验证Centos是否安装MySQL ...
2018-08-08 18:55:01
5664
原创 Hadoop上在线安装MySQL的方法和步骤
前言：Hadoop的基础上安装MySQL,有两种方式：在线安装和手动安装。 本文介绍：在线安装 1. 在线安装 在线安装(MySQL)--------------------------------------------- 1.验证Centos是否安装MySQL $>yum list installed | grep mysql 2.删除M...
2018-08-08 18:25:51
3413
1
原创 Hadoop上安装Hive的步骤--易安装
Hive 1.定义： Apache Hive 数据仓库软件便于读,写,和管理大型数据集驻留在分布式存储(Hadoop)使用SQL。 结构可以投影到存储中的数据上。 客户端的连接方式可采用：command line 和 JDBC Driver 注意：Hive实质就是客户端，不存在主从结构，搭建过程没有集群概念； 2.搭建Hiv...
2018-08-07 09:08:42
806
原创 HBase在MyEclipse常用的创建，删除，插入数据的Java代码--API
HBase在MyEclispe上执行各种API的操作 如：命名空间的创建，删除，和查询表空间 表的创建，插入数据（分为单行和多行），删除，查询（分为单行和多行，和区间查询）， 切分：分为regionname 和table 过滤：过滤满足条件的数据项目环境： ...
2018-08-06 19:08:28
598
原创 HBase的介绍 表结构 常用命令
HBase的表结构：这些名词的具体含义如下：1、Row Key与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行，只有三种方式：通过单个row key访问 通过row key的range 全表扫描Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hba...
2018-08-05 20:50:52
12720
原创 HBase shell 的常用命令及语法
HBase shell 1.进入Hbase shell命令 $>hbase shell 2.建议参照“help”命令 $>help 3.shell命令 ...
2018-08-05 09:58:59
2411
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人