- 博客(13)
- 资源 (14)
- 收藏
- 关注
转载 Hive面试题
1、hive内部表和外部表的区别未被external修饰的是内部表,被external修饰的为外部表。区别:内部表数据由Hive自身管理,外部表数据由HDFS管理;内部表数据存储的位置是hive.metastore.warehouse.dir(默认:/user/hive/warehouse), 外部表数据的存储位置由自己制定(如果没有LOCATION,Hive将在HDFS上 的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹,并将属于这个表的数据
2021-05-26 09:19:06
151
转载 Hive | 4万字性能调优面试总结2
HiveSQL语法原理hive的DDL语法对数据库的操作 创建数据库: create database if not exists myhive; 说明:hive的表存放位置模式是由hive-site.xml当中的一个属性指定 的 :hive.metastore.warehouse.dir 创建数据库并指定hdfs存储位置 : create database myhive2 location '/myhive2'; 修改数据库: alter database myh
2021-05-26 09:17:44
276
转载 Hive | 4万字性能调优面试总结
本文基本涵盖以下内容: 一、基于Hadoop的数据仓库Hive基础知识 二、HiveSQL语法 三、Hive性能优化 四、Hive性能优化之数据倾斜专题 五、HiveSQL优化十二板斧 六、Hive面试题(一) 七、Hive/Hadoop高频面试点集合(二) 基于Hadoop的数据仓库Hive基础知识Hive是基于Hadoop的数据仓库工具,可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理,提供了类似于SQL语言的
2021-05-26 09:12:03
373
转载 Impala String函数大全
Impala字符串函数Impala中字符串函数主要应用于 varchar、char、string类型,如果把varchar或者char类型的值传递给字符串函数,返回将是一个string类型的值函数列表base64encode(string str)base64decode(string str)加密和解密,返回值为4字节的倍数,可以用来存储特殊字符串--将hello world加密...
2019-03-14 16:13:12
4243
转载 HBase - Filter - 过滤器的介绍以及使用
1 过滤器HBase 的基本 API,包括增、删、改、查等。增、删都是相对简单的操作,与传统的 RDBMS 相比,这里的查询操作略显苍白,只能根据特性的行键进行查询(Get)或者根据行键的范围来查询(Scan)。HBase 不仅提供了这些简单的查询,而且提供了更加高级的过滤器(Filter)来查询。1.1 过滤器的两类参数过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤,基于 ...
2019-03-05 14:25:20
920
转载 Hbase中内置Filter详解
一、建表1、表名:“ORDER_TABLE”2、列簇:“user”,“order”,“item”3、表结构如下:二、封装服务服务代码如下:@Override public String get(String tableName, Filter filter) { Scan scan = new Scan(); scan.setF...
2019-03-05 14:07:18
285
转载 hbase解决海量图片存储
随着互联网、云计算及大数据等信息技术的发展,越来越多的应用依赖于对海量数据的存储和处理,如智能监控、电子商务、地理信息等,这些应用都需要对海量图片的存储和检索。由于图片大多是小文件(80%大小在数MB以内),以GFS、HDFS为代表的适用于流式访问大文件的分布式存储系统,若直接用来存储图片,由于元数据膨胀,在扩展性和性能方面均存在严重问题。 为了解决HDFS在小文件存储方面的问题,通常的...
2019-02-28 10:51:26
1479
转载 HBase shell scan 模糊查询
0.进入hbase shell./hbase shell help help “get” #查看单独的某个命令的帮助1. 一般命令status 查看状态version 查看版本2.DDL(数据定义语言Data Definition Language)命令1. 创建表create ‘表名称’,’列名称1’,’列名称2’,’列名称3’ 如:create 'member','m...
2019-01-07 15:40:48
1203
原创 java链接hbase报错 org.apache.hadoop.hbase.MasterNotRunningException: com.google.protobuf.ServiceExceptio
我的环境是:Hadoop、Hbase、Hive安装在虚拟机Centos上,一个Master,五个backup,Ip地址为:192.168.178.30 master1192.168.178.31 master2192.168.178.32 slave1192.168.178.33 slave2192.168.178.34 slave3192.168.17...
2019-01-04 16:21:20
1531
转载 MySQL 数据库定时自动备份
创建备份目录 1 2 3 cd /home mkdir backup cd backup 创建备份 Shell 脚本: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 ...
2019-01-03 10:39:45
199
转载 各领域公开数据集下载
各领域公开数据集下载上网找到了个数据集的整理,不用再搜就自己转过来。原文地址: https://zhuanlan.zhihu.com/p/25138563金融美国劳工部统计局官方发布数据房地产公司 Zillow 公开美国房地产历史数据沪深股票除权除息、配股增发全量数据,截止 2016.12.31上证主板日线数据,截止 2017.05.05,原始价、前复权价、后复权价,126...
2019-01-02 14:44:41
1593
转载 MySQL主从复制(Master-Slave)部署
实现MySQL主从复制需要进行的配置:主服务器: 开启二进制日志 配置唯一的server-id 获得master二进制日志文件名及位置 创建一个用于slave和master通信的用户账号 从服务器: 配置唯一的server-id 使用master分配的用户账号读取master二进制日志 启用slave服务 具体实现过程如下:一、准备工作:1.主从数据库版...
2018-12-27 16:06:57
153
原创 sqoop导入hive表报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set co
sqoop导入hive表报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly 方法1:往~/.bash_profile里新加一行export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*然后,...
2018-12-25 16:55:16
483
Professional+Android+Application+Development.
2011-08-20
Android开发环境搭建全程演示(jdk+eclip+android sdk) - 操作系统
2011-08-20
[Android应用程序开发].Android.Application.Development
2011-08-20
MYSQL5.1 CHM版中文帮助文档
2011-03-13
Hibernate3.2官方中文参考手册
2011-03-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人