_璠_-CSDN博客

原创 HIVE中MACRO(宏)的使用

在编写HQL的过程中，很多逻辑需要反复使用。这时我们可以使用宏对这段逻辑进行提炼，起到优化开发效率、提升程序可读性的效果（尤其是括号嵌套很多层、case-when嵌套很多层的时候）。举个例子：create temporary macro sayhello (x string) concat('hello,',x,'!');select sayhello('程序员'); --输出：hello...

2019-05-25 14:38:25 5311 1

原创问题解决：Hive中双count(distinct)过慢的问题

这里说的双count(distinct)是指类似下面的语句select day,count(distinct session_id),count(distinct user_id) from log a group by day;如果要执行这样的语句，前提必须设置参数:set hive.groupby.skewindata=true;我们可以用“空间换时间”的思路解

2017-09-05 15:09:45 5246

原创《证券投资二十四堂课》读书笔记

友情提示：技术分析有一个致命弱点，即掌握它的人越多，它的效果就越差，因为技术的掌握会反过来影响人的行为。第一课投资者入市须知股市投资的第一要则：止损定义止损：对新手10%，对使用图表买卖8%成功投资需要时间：2～3年关键时刻必须坚定（止损）为何以8%作为止损点：总是能再进行投资第二课开始投资：现在就是最佳时机何时是入市的最佳时机：任何时候——马上开始经验

2017-07-16 10:38:09 1649

原创《笑傲股市 How to Make Money in Stocks》读书笔记

第一部分 CAN SLIM法则第一章最重要的选股秘诀本书概述，略第二章学会识图以提高选股和选时最普遍的价格形态：带柄茶杯形态持续7~65周不等，多数为3~6个月最高点到最低点的回调幅度介于12%~15%，最高不超过33%之前股价的上涨阶段至少30%在部分时点成交量显著增多在市场的中期调整中，股价下跌幅度不应超过市场平均标准的2.5倍

2017-07-13 20:26:07 4345

原创问题解决：hive中的find_in_set不能用作join的条件

假设有两个表A和B，其中：表Aid12345表Bids1，2，32，34，55，67，8这里B中的ids字段是许多由逗号分隔的id。现在的任务是join两张表，条件是A.id要出现在B.ids中。如果在mysql中，使用语句：select * from Ajoin Bon find_in_set(A.id,B.ids)

2017-07-11 17:25:41 3296 1

原创 MapReduce工作原理

一、MapReduce执行过程map阶段：数据来源于HDFS，分片（input split）后输入到不同的map。map处理完数据后不会直接写到磁盘上，而是先写到内存（buffer in memory）。内存大小默认为100M。随着map处理的数据越来越多，内存中的数据就会增大，一旦超过一个阀值（80%，即80M），数据会从内存中落地到磁盘上（即溢写，spill）。但是数据并不是随

2017-07-10 15:42:21 346 1

转载背包问题（Java版）

public static int[][] BackPack_Solution(int m, int n, int[] w, int[] p) { //c[i][v]表示前i件物品恰放入一个重量为m的背包可以获得的最大价值 int c[][] = new int[n + 1][m + 1]; for (int i = 0; i < n + 1; i+

2017-07-10 15:25:23 294

璠的博客