大数据技术分享
露露大
这个作者很懒,什么都没留下…
展开
-
Hive如何创建数据库与数据库表并指定字段之间的分隔符-大萝卜博客
hive 数据库操作创建数据库create database if not exists myhive;# 使用数据库use myhive;说明:hive的表存放位置模式是由hive-site.xml当中的一个属性指定的<name>hive.metastore.warehouse.dir</name><value>/user/hive/...原创 2019-11-26 00:00:00 · 1366 阅读 · 0 评论 -
HBASE的Java API操作手册---大萝卜博客网整理
我们使用Maven来搭建项目,首先导入pom文件<repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-rep...原创 2019-12-17 00:00:00 · 1054 阅读 · 0 评论 -
大数据辅助组件Apache Sqoop 如何使用-大萝卜博客网
sqoop介绍Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。Hadoop生态系统包括:HDFS、Hive、Hbase等RDBMS体系包括:Mys...原创 2019-12-04 00:00:00 · 932 阅读 · 0 评论 -
HBASE 异常 java.lang.ClassCastException: org.apache.hadoop.hbase.client.Put cannot be cast to org.apac
java.lang.ClassCastException: org.apache.hadoop.hbase.client.Put cannot be cast to org.apache.hadoop.hbase.KeyValue下面我们来看报错信息WARN mapred.LocalJobRunner: job_local244116549_0001java.lang.ClassCa...原创 2019-12-19 00:00:00 · 2516 阅读 · 0 评论 -
大数据环境搭建篇 CDH分布式环境搭建 (支持snappy)-大萝卜博客
准备:1.配置好java环境变量2.配置好主机名/etc/sysconfig/network3.配置好hosts /etc/hosts4.配置好免密登录ssh5.关闭selinux以及防火墙##第一步:上传压缩包并解压将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压(我会在片尾留下链接,大家可自行下载)第一台机器执行以下命令cd /ex...原创 2019-12-04 08:37:11 · 461 阅读 · 0 评论 -
HDFS的shell命令操作-大萝卜博客
hdfs dfs 具体命令[root@node01 Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfsUsage: Hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ......原创 2019-11-29 20:51:18 · 1771 阅读 · 0 评论 -
MapReduce如何开启压缩算法对结果进行压缩-大萝卜博客
注:本文使用snappy算法进行压缩 内容在驱动类里面修改方式一:在代码中进行设置压缩设置map阶段的压缩Configuration configuration = new Configuration();configuration.set("mapreduce.map.output.compress","true");configuration.set("mapreduce.ma...原创 2019-11-29 14:52:07 · 2739 阅读 · 0 评论 -
HIVE的安装部署-大萝卜博客
注意:hive安装包我会放在本文最后 如有需要请自行下载derby版hive直接使用:缺点:多个地方安装hive后,每一个hive是拥有一套自己的元数据,大家的库、表就不统一;解压hivecd /export/softwarestar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/直接启动 bin/hivebin/...原创 2019-11-29 11:26:41 · 2612 阅读 · 0 评论 -
Hive所有字段类型汇总
分类类型描述字面量示例原始类型BOOLEANtrue/falseTRUE-TINYINT1字节的有符号整数 -128~1271Y-SMALLINT2个字节的有符号整数,-32768~327671S-INT4个字节的带符号整数1-BIGINT8字节带符号整数1L-FLOAT4字节单精度浮点数1.0-DO...原创 2019-11-29 08:16:45 · 9081 阅读 · 1 评论 -
Hive如何创建数据库与数据库表并指定字段之间的分隔符
hive 数据库操作创建数据库create database if not exists myhive;# 使用数据库use myhive;说明:hive的表存放位置模式是由hive-site.xml当中的一个属性指定的<name>hive.metastore.warehouse.dir</name><value>/user/hive/...原创 2019-11-28 20:51:36 · 4562 阅读 · 0 评论 -
hive如何开启输出阶段压缩
##开启Map输出阶段压缩开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下:开启hive中间传输数据压缩功能set hive.exec.compress.intermediate=true;开启mapreduce中map输出压缩功能set mapreduce.map.output.compress=true;设置mapredu...原创 2019-11-28 20:47:09 · 2013 阅读 · 0 评论