「已注销」-CSDN博客

转载 Hive面试题

1、hive内部表和外部表的区别未被external修饰的是内部表，被external修饰的为外部表。区别:内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹，并将属于这个表的数据

2021-05-26 09:19:06 170

转载 Hive | 4万字性能调优面试总结2

HiveSQL语法原理hive的DDL语法对数据库的操作创建数据库: create database if not exists myhive; 说明：hive的表存放位置模式是由hive-site.xml当中的一个属性指定的 :hive.metastore.warehouse.dir 创建数据库并指定hdfs存储位置 : create database myhive2 location '/myhive2'; 修改数据库: alter database myh

2021-05-26 09:17:44 300

转载 Hive | 4万字性能调优面试总结

本文基本涵盖以下内容：一、基于Hadoop的数据仓库Hive基础知识二、HiveSQL语法三、Hive性能优化四、Hive性能优化之数据倾斜专题五、HiveSQL优化十二板斧六、Hive面试题(一) 七、Hive/Hadoop高频面试点集合(二) 基于Hadoop的数据仓库Hive基础知识Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的

2021-05-26 09:12:03 404

转载 Impala String函数大全

Impala字符串函数Impala中字符串函数主要应用于 varchar、char、string类型，如果把varchar或者char类型的值传递给字符串函数，返回将是一个string类型的值函数列表base64encode(string str)base64decode(string str)加密和解密,返回值为4字节的倍数，可以用来存储特殊字符串--将hello world加密...

2019-03-14 16:13:12 4292

转载 HBase - Filter - 过滤器的介绍以及使用

1 过滤器HBase 的基本 API，包括增、删、改、查等。增、删都是相对简单的操作，与传统的 RDBMS 相比，这里的查询操作略显苍白，只能根据特性的行键进行查询（Get）或者根据行键的范围来查询（Scan）。HBase 不仅提供了这些简单的查询，而且提供了更加高级的过滤器（Filter）来查询。1.1 过滤器的两类参数过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤，基于 ...

2019-03-05 14:25:20 944

转载 Hbase中内置Filter详解

一、建表1、表名：“ORDER_TABLE”2、列簇：“user”，“order”，“item”3、表结构如下：二、封装服务服务代码如下：@Override public String get(String tableName, Filter filter) { Scan scan = new Scan(); scan.setF...

2019-03-05 14:07:18 303

转载 hbase解决海量图片存储

随着互联网、云计算及大数据等信息技术的发展，越来越多的应用依赖于对海量数据的存储和处理，如智能监控、电子商务、地理信息等，这些应用都需要对海量图片的存储和检索。由于图片大多是小文件(80%大小在数MB以内)，以GFS、HDFS为代表的适用于流式访问大文件的分布式存储系统，若直接用来存储图片，由于元数据膨胀，在扩展性和性能方面均存在严重问题。为了解决HDFS在小文件存储方面的问题，通常的...

2019-02-28 10:51:26 1495

转载 HBase shell scan 模糊查询

0.进入hbase shell./hbase shell help help “get” #查看单独的某个命令的帮助1. 一般命令status 查看状态version 查看版本2.DDL（数据定义语言Data Definition Language）命令1. 创建表create ‘表名称’,’列名称1’，’列名称2’，’列名称3’ 如：create 'member','m...

2019-01-07 15:40:48 1238

原创 java链接hbase报错 org.apache.hadoop.hbase.MasterNotRunningException: com.google.protobuf.ServiceExceptio

我的环境是：Hadoop、Hbase、Hive安装在虚拟机Centos上，一个Master，五个backup，Ip地址为：192.168.178.30 master1192.168.178.31 master2192.168.178.32 slave1192.168.178.33 slave2192.168.178.34 slave3192.168.17...

2019-01-04 16:21:20 1569

转载 MySQL 数据库定时自动备份

创建备份目录 1 2 3 cd /home mkdir backup cd backup 创建备份 Shell 脚本: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 ...

2019-01-03 10:39:45 215

转载各领域公开数据集下载

各领域公开数据集下载上网找到了个数据集的整理，不用再搜就自己转过来。原文地址： https://zhuanlan.zhihu.com/p/25138563金融美国劳工部统计局官方发布数据房地产公司 Zillow 公开美国房地产历史数据沪深股票除权除息、配股增发全量数据，截止 2016.12.31上证主板日线数据，截止 2017.05.05，原始价、前复权价、后复权价，126...

2019-01-02 14:44:41 1614

转载 MySQL主从复制(Master-Slave)部署

实现MySQL主从复制需要进行的配置：主服务器：开启二进制日志配置唯一的server-id 获得master二进制日志文件名及位置创建一个用于slave和master通信的用户账号从服务器：配置唯一的server-id 使用master分配的用户账号读取master二进制日志启用slave服务具体实现过程如下：一、准备工作：1.主从数据库版...

2018-12-27 16:06:57 177

原创 sqoop导入hive表报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set co

sqoop导入hive表报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly 方法1：往~/.bash_profile里新加一行export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*然后，...

2018-12-25 16:55:16 501