Maxwell_

阿里云智能事业群招人！有意愿的朋友，请简历发送给我：yewei.oyyw@alibaba-inc.com※ 团队介绍阿里云智能数据库事业部 OLAP 平台团队，专注于提供全球领先的全栈式大规模 OLAP 数据库产品，包括分析型数据库 AnalyticDB、数据湖分析 Data Lake Analytics、时序数据库、硬件加速等，产品服务于阿里巴巴公有云、专有云的众多客户关键业务，同时服务于阿里巴巴集团内部众多数据分析类业务。岗位1：阿里云智能事业群-数据库平台技术研发专家-杭州/北京/深圳【期望

在数据的实际使用过程中，我们经常需要进行多维度的组合汇总，做一个数据立方体。常见的方法是在各个维度下进行group by，建立多个任务，这样不利于代码查看和维护，同时也浪费开发时间

本文仅记录排查和问题定位、解决的过程

ELK（Elasticsearch+LogStash+Kibana），最近使用ELK处理了一些平台日志，下面以「mysql连接数监控」记录部署流程

背景jdk1.7升级到jdk1.8，运行时报错。 报错原因是高版本的jdk运行在低版本的jre上原因一：本地Java环境尚未更新使用命令java -version检查本地java环境，保持一致 如果是windows下，配置了JAVA环境后需要重启电脑，才能生效原因二：检查IDE配置以Intellij IDEA为例Go to Maven Settings -> Maven -> Impo

记录maven打依赖jar包

JGit常用用法总结

步骤一：maven配置依赖https://mvnrepository.com/artifact/log4j/log4j/1.2.16步骤二：IDEA加入log4j.properties文件File->Project Structure 将log4j.properties文件放入resources文件夹中 步骤三：配置log4j.properties文件输出到控制台输出到../logs/tas

问题/现象使用hadoop fs -rmr xxx删除hdfs上的文件失败$ hadoop fs -rmr /app/lbs/nuomi-da-stat/stat_platform_auto/1004/dt=20161118/000000_0rmr: Failed to move to trash: /app/lbs/nuomi-da-stat/stat_platform_auto/1004/dt=

1. 常规操作进入数据库use market;改变字符编码charset utf8;导出数据mysql \-h 10.0.2.54 \-P 3307 \-u marketuser \-e "use market; charset utf8; select * from RPT_ONLINE_KPI;" \-p | sed 's/\t/,/g' > ./rpt_online_kpi_2015

一个流分流到多个流在storm中，将一个流分流到多个不同的流中。 参考代码： main部分// tracker解析器topologyBuilder.setBolt( "TrackerBolt", new TrackerBolt(), 2).shuffleGrouping("KafkaFilterBolt");// 点击数统计topolog

给定任务名称，杀死所有该任务的linux进程

业务场景做数据分析的时候，经常会用到hive -e "sql" > xxx.txt或者最原始的hive命令行来获得查询结果，然后再将查询结果放到Excel等工具中，但是如果查询的字段太多，这时候将查询结果放到Excel会经常会碰到错位问题，很是头疼.解决方案一：借助linux管道替换输出分隔符样例如下：# 方法一：sedhive -e "select * from pms.pms_algorith

1. hive脚本的执行方式hive脚本的执行方式大致有三种： 1. hive控制台执行； 2. hive -e "SQL"执行； 3. hive -f SQL文件执行；参考hive的用法usage: hive -d,--define <key=value> Variable subsitution to apply to hive

1. 静态分区若分区的值是确定的，那么称为静态分区。下面举例一个业务场景： 统计程序每天都需要统计1号店中由精准化推荐带来的销售额，日期是确定的，现在需要将每天统计好的销售额数据插入到指定的日期分区中1.1. 实现方式参见如下的脚本：hive -e "--设置Hive Job任务队列set mapred.job.queue.name=pms;--创建精准化销售额数据汇总表create t

>outfile 2>&1 与 2>&1 >outfile 的区别关于重定向，有一个疑问就是为什么这两个Bash Shell写法，得到的结果会不一样：$ cat oyyw >outfile 2>&1$ cat outfile cat: oyyw: 没有那个文件或目录和$ cat oyyw 2>&1 >outfilecat: oyyw: 没有那个文件或目录解惑搜集了一部分资料以后，解答如下：顺序

1. shell脚本的默认变量下面用一个shell脚本来描述shell脚本的默认变量[ouyangyewei@localhost workspace]$ cat learn_argument.sh #! /bin/bash## check arguments##-----------------if [ $# -lt 3 ]then echo "Error! Not Enough A

Unix是一个多任务系统，允许多用户同时运行多个程序。shell的元字符&提供了在后台运行不需要键盘输入的程序的方法。输入命令后，其后紧跟&字符，该命令就会被送往到linux后台执行，而终端又可以继续输入下一个命令了。

结合awk列举大于指定容量大小所有文件目录

结合awk删除hdfs指定日期前的数据

用Java实现一个标准版计算器

利用sqoop对mysql进行DML操作

利用sqoop将Hive数据表导出到Mysql

利用sqoop将Mysql数据表导入到Hive

借助lateral view 和 explode，将一行记录拆分成多行

讲述Hive多分区表的创建、导入数据

HBaseIntegration：通过Hive读写HBase

在DataNode节点上查看打印信息

Hive调优，让任务并行执行，描述优化流程、结论

linux多进程并发，详细讲解优化shell执行顺序的方案，结论

业务背景用户轨迹工程脚本最近经常报错，报错如下：SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]FAILED: Error in metadata: MetaException(message:java.lang.RuntimeException: commitTransaction was called bu

Hive数据倾斜（大表join大表）的现象、思路以及解决方案

Shell多进程并发

[Hive]Hive分区表新增字段

转载自：http://blog.csdn.net/wypblog/article/details/17410315如果你想查询某个表的某一列，Hive默认是会启用MapReduce Job来完成这个任务，如下：hive> SELECT id, money FROM m limit 10;Total MapReduce jobs = 1Launching Job 1 out of

[Hive]MapReduce将数据写入Hive分区表

[Git]Git未初始化导致的错误提示

HIVE求两个集合的减集

SQL数据表两个字段关联同一张数据表

Hive使用HDFS目录数据创建Hive表分区

[LeetCode]Add Binary

MapReduce-MulitipleOutputs实现自定义输出到多个目录

PHP中Notice: Undefined index: sku in 问题解决方案

hive用left semi join替代in子查询的方式

hive concat_w实现将多行记录合并成一行

Minimum Depth of Binary Tree

Path Sum

Pascal's Triangle II

Pascal's Triangle

Valid Palindrome

hive建立外表

[LeetCode]LRU Cache

教你如何在只供试听的网站上下载音乐

Job Submission failed with exception 'java.io.IOException(Failed to run job : org.apache.hadoop.security.AccessControlException: User pms cannot submit applications to queue root.default)'FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.

Error: java.lang.UnsupportedOperationException: Not implemented by the HftpFileSystem FileSystem implementation

Maven解决jar包冲突

shell判断hdfs文件目录是否存在

Shell脚本执行hive语句 | hive以日期建立分区表 | linux schedule程序 | sed替换文件字符串 | shell判断hdfs文件目录是否存在

Java API 读取HDFS的单文件

Java API 读取HDFS目录下的所有文件

hive按当天日期建立分区表 | 动态往日期分区插入数据

[LeetCode]Search a 2D Matrix

[LeetCode]Binary Tree Level Order Traversal II

Java 将自定义的对象作为HashMap的key

Java 读写TXT文件

[LeetCode]Generate Parentheses

[LeetCode]N-Queens II

[LeetCode]Gray Code

[LeetCode]Integer to Roman

[LeetCode]Populating Next Right Pointers in Each Node

[LeetCode]Best Time to Buy and Sell Stock II

Java创建二叉树

[LeetCode]Binary Tree Preorder Traversal

[LeetCode]Binary Tree Inorder Traversal

[LeetCode]Reverse Words in a String

Java for循环遍历MapMap categoryLevelMap = new Category().GetCategoryLevelMap(categoryFile, conf); Scan scan = new Scan(); for (Map.Entry entry : categoryLevelMap.entrySet()) { Long categoryId = e

[LeetCode]Merge Sorted Array

[LeetCode]Remove Duplicates from Sorted Array

[LeetCode]Swap Nodes in Pairs

[LeetCode]Balanced Binary Tree

[LeetCode]Reverse Integer

[LeetCode]Merge Two Sorted Lists

[LeetCode]Remove Element

[LeetCode]Roman to Integer

[LeetCode]Climbing Stairs

[LeetCode]Remove Duplicates from Sorted List

[LeetCode]Search Insert Position

[LeetCode]Linked List Cycle

[LeetCode]Same Tree

[LeetCode]Maximum Depth of Binary Tree

[LeetCode]Single Number

个人心得体会、经验总结

Excel查询序列所对应的值-vLoopup函数，求比例分子改变但分母不变

Excel对相同项求和

Eclipse运行程序提示：Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

运行shell脚本提示“syntax error near unexpected token for((i=0;i<$length;i++))”

The expression after ELSE should have the same type as those after THEN: "bigint" is expected but "i

linux常用命令

hdfs shell常用命令

hive常用命令