大数据
文章平均质量分 71
hadoop, hive, spark, flink
fengzheku
这个作者很懒,什么都没留下…
展开
-
集群中通过外网8088端口访问不到
集群之间是通过内网互连的,host的映射文件也是内网的ip地址,现在想通过外网访问集群,发现8088端口以及其它的端口访问不到,解决的方法是用apache的反向代理。原创 2016-02-24 19:37:12 · 7521 阅读 · 0 评论 -
Spark SQL 访问hive 出现异常:org.datanucleus.exceptions.NucleusDataStoreException
异常:org.datanucleus.exceptions.NucleusDataStoreException: Exception thrown obtaining schema column information from datastore出现问题原因: 1、hive-site.xml 中配置的是 <property> <name>...原创 2018-10-19 11:10:22 · 4257 阅读 · 0 评论 -
java.lang.NoSuchMethodError: com.google.common.collect.Sets.newConcurrentHashSet()异常解决思路
Spark集群下运行程序出现java.lang.NoSuchMethodError: com.google.common.collect.Sets.newConcurrentHashSet()Ljava/util/Set异常的解决思路原创 2016-02-18 19:35:51 · 41653 阅读 · 3 评论 -
Hive 优化-参数设置
参考链接:https://blog.csdn.net/WYpersist/article/details/79797075 https://blog.csdn.net/baidu_29843359/article/details/46967473 http://blog.sina.com.cn/s/blog_6ff05a2c010178qd.html map数的计算 https://bl...原创 2018-12-14 15:38:27 · 6386 阅读 · 0 评论 -
Hive grouping sets 的bug:ParseException line 7:22 missing ) at ',' near '<EOF>'
今天遇到了一个问题,当使用grouping sets 时,一直报错如下:ParseException line 7:22 missing ) at ',' near '<EOF>'line 7:31 extraneous input ')' expecting EOF near '<EOF>'sql为:SELECT tab1.a, tab1.b, ...原创 2018-06-06 18:57:16 · 10500 阅读 · 0 评论 -
Hive 的优化
1、group by 实现 distinct原始语句:select count(distinct ip) from (select ip as ip from comprehensive.f_client_boot_daily where year="2013" and month="10" union all select pub_ip as ip from原创 2016-08-24 14:26:10 · 525 阅读 · 0 评论 -
Hive命令之三:hive的数据导入导出
Hive 数据的导入导出:一 Hive数据导出 1、导出数据到本地文件系统: insert overwrite local directory '/software/data/data1' select * from call_info_history10000 limit 10;这种导出方式,数据中的列与列之间的分隔符是^A(ascii码是\00001)原创 2016-03-03 14:03:35 · 1114 阅读 · 0 评论 -
Hive Shell 命令之二(表中数据的操作,出自Hive编程指南)
一、 交互模式:show tables; #查看所有表名show tables 'ad*' #查看以'ad'开头的表名set 命令 #设置变量与查看变量;set -v #查看所有的变量set hive.stats.atomic #查看hive.stats.atomic变量set hive.stats.atomic=false #设置hive.stats.atomic变量原创 2015-12-28 18:58:51 · 1840 阅读 · 0 评论 -
Pig脚本从Hive中load数据并存入到Hbase中
Pig脚本从Hive中load数据并存入到Hbase中原创 2015-12-28 13:29:40 · 2719 阅读 · 0 评论 -
Hive Shell命令之一(数据库和表的操作)
//数据库的有关操作1、如果数据库不存在的话创建数据库,默认数据库default:create database if not exists test;2、查看hive中所包含的数据库:show databases;3、如果数据库非常多,可以用正则表达式匹配筛选出需要的数据库名。show databases like 't.*';4、创建数据库并指定数据库存原创 2015-12-22 19:45:30 · 4017 阅读 · 0 评论 -
Hbase 命令:快照操作
Hbase 命令:快照操作1、产生快照: snapshot ‘tableName’, ‘snapshotName’2、列出所有快照: list_snapshots 3、删除快照: delete_snapshot ‘snapshotName’4、从指定快照生成新表: clone_snapshot ‘snapshotNam原创 2016-03-31 17:06:56 · 5346 阅读 · 0 评论 -
hbase压缩算法-Snappy算法安装
Compression就是在用CPU换IO吞吐量/磁盘空间,如果没有什么特殊原因推荐针对Column Family设置compression,下面主要有三种算法: GZIP, LZO, Snappy,作者推荐使用Snappy,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。Comparison between compression algorithms转载 2016-03-30 11:01:31 · 3255 阅读 · 0 评论 -
Java操作Hbase增删改查(附带复合条件查询以及分页查询)
最近项目中用到了Hbase,所以看了下Java操作Hbase的有关API,并根据项目中的需求写了下增删改查。闲话少说,先贴源码:package com.infobird.test1;import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.List;原创 2015-09-14 22:03:01 · 9503 阅读 · 11 评论