sql之left join、right join、inner join的区别

转载:http://www.cnblogs.com/pcjim/articles/799302.html left join(左联接) 返回包括左表中的所有记录和右表中联结字段相等的记录  right join(右联接) 返回包括右表中的所有记录和左表中联结字段相等的记录 inner j...

2017-04-26 10:59:35

阅读数 548

评论数 0

hive 三种去重方式

在hive数据清洗这里总结三种常用的去重方式 1.distinct 2.group by 3.row_number() 实例: SELECT tel, link_name, certificate_no, certificate_type, modify_time   FROM ord...

2017-04-24 17:08:35

阅读数 8806

评论数 0

sqoop-导入数据出现java.sql.SQLException: Streaming result set com.mysql.jdbc.

在运行sqoop的时候出现了mysql的bug导致数据不能导入 具体的异常如下所示: 16/01/24 04:00:06 ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streamin...

2017-04-20 13:40:08

阅读数 927

评论数 0

FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

Total MapReduce jobs = 1 14/08/24 20:29:11 WARN conf.Configuration: mapred.max.split.size is deprecated. Instead, use mapreduce.input.fileinputf...

2017-04-13 13:56:40

阅读数 1901

评论数 0

HiveSQL解析原理:包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作

转载:http://www.aboutyun.com/thread-20461-1-1.html 问题导读: 1.什么是Hive? 2.MapReduce框架实现SQL基本操作的原理是什么? 3.Hive怎样实现SQL的词法和语法解析? ...

2017-04-10 13:31:47

阅读数 402

评论数 0

深入理解HBase的memestore、storeFile(HFile)

原文出处:http://shitouer.cn/2013/02/configuring-hbase-memstore-what-you-should-know   MemStore是HBase非常重要的组成部分,深入理解MemStore的运行机制、工作原理、相关配置,对HBase集群管理以及性能调...

2017-04-09 17:07:41

阅读数 4771

评论数 0

spark性能优化:数据倾斜调优

调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。 数据倾斜发生时的现象 1、绝大多数task执行得都非常快,但个别task执行极慢。比...

2017-04-01 17:34:09

阅读数 361

评论数 0

hive 数据倾斜分析-=推荐

http://www.tuicool.com/articles/qUBJbuV http://blog.itpub.net/29754888/viewspace-1262946/ 调优: https://m.aliyun.com/yunqi/articles/59635

2017-04-01 16:01:28

阅读数 520

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭