Thinking

文章来源：http://www.dcharm.com/?p=32hive数据倾斜的解决方案作者: admin 分类: hadoop, hive, 数据分析 发布时间: 2014-08-03 21:50 ė 6没有评论分布式文件系统HDFS可以存储海量的数据（以T为单位的数据量），分布式计算框架MapReduce可以对存储在HDFS的数据进行处理后再将结果

文章来源：http://blog.csdn.net/hguisu/article/details/9174459/1、twemproxy explore      当我们有大量 Redis 或 Memcached 的时候，通常只能通过客户端的一些数据分配算法（比如一致性哈希），来实现集群存储的特性。虽然Redis 2.6版本已经发布Redis Cluster，但还不

一、行转列的使用１、问题hive如何将a       b       1a       b       2a       b       3c       d       4c       d       5c       d       6变为：a       b       1,2,3c       d       4,5,6

http://blog.csdn.net/hguisu/article/details/9165141Redis目前版本是没有提供集群功能的，如果要实现多台Redis同时提供服务只能通过客户端自身去实现(Memchached也是客户端实现分布式)。目前根据文档已经看到Redis正在开发集群功能，其中一部分已经开发完成，但是具体什么时候可以用上，还不得而知。文档来源：http://r

hive函数参考手册原文见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无

hive语句优化-通过groupby实现distinct 同事写了个hive的sql语句，执行效率特别慢，跑了一个多小时程序只是map完了，reduce进行到20%。该Hive语句如下：select count(distinct ip) from (select ip as ip from comprehensive.f_client_boot_daily where

文章来源：http://www.it165.net/database/html/201408/7812.html一、概念1、左连接 left outer join以左边表为准，逐条去右边表找相同字段，如果有多条会依次列出2、连接join找出左右相同同的记录3、全连接 full outer join包括两个表的join结果，左边在右边中没找

文章来源：http://zhaoyan0922-photo.blog.163.com/blog/static/262384412014111542856545/关于hive row_number()内置http://zhaoyan0922-photo.blog.163.com/blog/static/262384412014111542856545/函数使用例子Hi

文章来源：http://www.bkjia.com/yjs/892967.htmlhive union all 使用，hiveunion功能：将两个表中的 相同的字段拼接到一起 测试：create external table IF NOT EXISTS temp_uniontest_ta(a1 string,a2 string)partitioned by (d

http://blog.csdn.net/jthink_/article/details/388535731. 假设我们在hive中有两张表，其中一张表是存用户基本信息，另一张表是存用户的地址信息等，表数据假设如下：user_basic_info:idname1a2b3c4d

http://blog.csdn.net/jthink_/article/details/389037751. order by    Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多

文章来源：http://blog.sina.com.cn/s/blog_4152a9f501013d1d.htmlHive提供了很多的函数，可以在命令行下show functions罗列所有的函数，你会发现这些函数名与mysql的很相近，绝大多数相同的，可通过describe function functionName 查看函数使用方法。hive支持的数据类型很简单就INT

http://blog.csdn.net/white__cat/article/details/27836481前言在线下做mysql数据分析的时候，会遇到执行shell脚本里导入sql文件到mysql数据库里或者连接mysql执行指定sql语句的情况，这里介绍一下我采用的方法导入sql文件到mysql数据库示例代码

http://my.oschina.net/u/1167806/blog/200808?fromerr=t8alHu4x