自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Maxwell_

年年岁岁花相似,岁岁年年人不同

原创 阿里云智能事业群招人!

阿里云智能事业群招人!有意愿的朋友,请简历发送给我:yewei.oyyw@alibaba-inc.com※ 团队介绍阿里云智能数据库事业部 OLAP 平台团队,专注于提供全球领先的全栈式大规模 OLAP 数据库产品,包括分析型数据库 AnalyticDB、数据湖分析 Data Lake Analytics、时序数据库、硬件加速等,产品服务于阿里巴巴公有云、专有云的众多客户关键业务,同时服务于阿里巴巴集团内部众多数据分析类业务。岗位1:阿里云智能事业群-数据库平台技术研发专家-杭州/北京/深圳【期望

2020-07-27 15:08:57 197

原创 [Linux]Linux Shell多进程并发以及并发数控制

Unix是一个多任务系统,允许多用户同时运行多个程序。shell的元字符&提供了在后台运行不需要键盘输入的程序的方法。输入命令后,其后紧跟&字符,该命令就会被送往到linux后台执行,而终端又可以继续输入下一个命令了。

2016-09-12 12:56:59 24700 5

原创 [基础工具]离线数据立方体构建工具

在数据的实际使用过程中,我们经常需要进行多维度的组合汇总,做一个数据立方体。常见的方法是在各个维度下进行group by,建立多个任务,这样不利于代码查看和维护,同时也浪费开发时间

2017-11-14 17:17:20 1662

原创 [问题记录]解决RabbitMQ消息丢失与重复消费问题

本文仅记录排查和问题定位、解决的过程

2017-07-11 16:27:27 46254 2

原创 [运维]ELK实现日志监控告警

ELK(Elasticsearch+LogStash+Kibana),最近使用ELK处理了一些平台日志,下面以「mysql连接数监控」记录部署流程

2017-02-09 19:10:01 38977 3

原创 [问题记录]Unsupported major.minor version 52.0

背景jdk1.7升级到jdk1.8,运行时报错。 报错原因是高版本的jdk运行在低版本的jre上原因一:本地Java环境尚未更新使用命令java -version检查本地java环境,保持一致 如果是windows下,配置了JAVA环境后需要重启电脑,才能生效原因二:检查IDE配置以Intellij IDEA为例Go to Maven Settings -> Maven -> Impo

2016-12-20 12:56:03 1032

原创 [问题记录]MAVEN打依赖jar包

记录maven打依赖jar包

2016-12-19 21:08:40 692

原创 [Java]JGit用法总结

JGit常用用法总结

2016-12-15 09:19:44 10148

原创 [问题记录]log4j使用记录

步骤一:maven配置依赖https://mvnrepository.com/artifact/log4j/log4j/1.2.16步骤二:IDEA加入log4j.properties文件File->Project Structure 将log4j.properties文件放入resources文件夹中 步骤三:配置log4j.properties文件输出到控制台输出到../logs/tas

2016-12-14 20:27:16 489

原创 [问题记录]hdfs删除文件提示rmr: Failed to move to trash

问题/现象使用hadoop fs -rmr xxx删除hdfs上的文件失败$ hadoop fs -rmr /app/lbs/nuomi-da-stat/stat_platform_auto/1004/dt=20161118/000000_0rmr: Failed to move to trash: /app/lbs/nuomi-da-stat/stat_platform_auto/1004/dt=

2016-12-08 14:45:45 5186

原创 [Mysql]Mysql常用命令

1. 常规操作进入数据库use market;改变字符编码charset utf8;导出数据mysql \-h 10.0.2.54 \-P 3307 \-u marketuser \-e "use market; charset utf8; select * from RPT_ONLINE_KPI;" \-p | sed 's/\t/,/g' > ./rpt_online_kpi_2015

2016-09-17 01:28:34 3677

原创 [Storm]Storm流控制

一个流分流到多个流在storm中,将一个流分流到多个不同的流中。 参考代码: main部分// tracker解析器topologyBuilder.setBolt( "TrackerBolt", new TrackerBolt(), 2).shuffleGrouping("KafkaFilterBolt");// 点击数统计topolog

2016-09-17 01:25:23 3755

原创 [Linux]linux killtask命令

给定任务名称,杀死所有该任务的linux进程

2016-09-17 01:22:57 5708

原创 [Hive]Hive指定查询输出分隔符

业务场景做数据分析的时候,经常会用到hive -e "sql" > xxx.txt或者最原始的hive命令行来获得查询结果,然后再将查询结果放到Excel等工具中,但是如果查询的字段太多,这时候将查询结果放到Excel会经常会碰到错位问题,很是头疼.解决方案一:借助linux管道替换输出分隔符样例如下:# 方法一:sedhive -e "select * from pms.pms_algorith

2016-09-17 01:21:16 26895

原创 [Hive]Hive执行脚本的方式以及转义字符

1. hive脚本的执行方式hive脚本的执行方式大致有三种: 1. hive控制台执行; 2. hive -e "SQL"执行; 3. hive -f SQL文件执行;参考hive的用法usage: hive -d,--define <key=value> Variable subsitution to apply to hive

2016-09-17 01:20:08 29814 3

原创 [Hive]Hive静态分区与动态分区

1. 静态分区若分区的值是确定的,那么称为静态分区。下面举例一个业务场景: 统计程序每天都需要统计1号店中由精准化推荐带来的销售额,日期是确定的,现在需要将每天统计好的销售额数据插入到指定的日期分区中1.1. 实现方式参见如下的脚本:hive -e "--设置Hive Job任务队列set mapred.job.queue.name=pms;--创建精准化销售额数据汇总表create t

2016-09-17 01:15:52 6677

原创 [Linux]Linux重定向

>outfile 2>&1 与 2>&1 >outfile 的区别关于重定向,有一个疑问就是为什么这两个Bash Shell写法,得到的结果会不一样:$ cat oyyw >outfile 2>&1$ cat outfile cat: oyyw: 没有那个文件或目录和$ cat oyyw 2>&1 >outfilecat: oyyw: 没有那个文件或目录解惑搜集了一部分资料以后,解答如下:顺序

2016-09-17 01:12:25 3757

原创 [Linux]Linux Shell脚本参数传递

1. shell脚本的默认变量下面用一个shell脚本来描述shell脚本的默认变量[ouyangyewei@localhost workspace]$ cat learn_argument.sh #! /bin/bash## check arguments##-----------------if [ $# -lt 3 ]then echo "Error! Not Enough A

2016-09-17 00:53:43 5792

原创 [Linux]结合awk列举大于指定容量大小所有文件目录

结合awk列举大于指定容量大小所有文件目录

2015-08-11 21:05:43 3692

原创 [Linux]结合awk删除hdfs指定日期前的数据

结合awk删除hdfs指定日期前的数据

2015-08-11 20:48:11 4826

原创 [Java]Java计算器

用Java实现一个标准版计算器

2015-07-31 16:16:58 1552 2

原创 [Sqoop]利用sqoop对mysql执行DML操作

利用sqoop对mysql进行DML操作

2015-06-09 09:45:35 2595

原创 [Sqoop]将Hive数据表导出到Mysql

利用sqoop将Hive数据表导出到Mysql

2015-06-08 10:56:37 5970 1

原创 [Sqoop]将Mysql数据表导入到Hive

利用sqoop将Mysql数据表导入到Hive

2015-06-08 10:38:30 1637

原创 [Hive]Hive将一行记录拆分成多行

借助lateral view 和 explode,将一行记录拆分成多行

2015-06-03 23:05:57 24318

原创 [Hive]Hive多分区操作

讲述Hive多分区表的创建、导入数据

2015-05-27 20:11:20 11894

原创 [Hive]HBaseIntegration:通过Hive读写HBase

HBaseIntegration:通过Hive读写HBase

2015-05-26 20:50:24 4152 2

原创 [MapReduce]MapReduce调试:在DataNode节点上查看打印信息

在DataNode节点上查看打印信息

2015-05-14 20:10:20 1635 1

原创 [Hive]Hive调优:让任务并行执行

Hive调优,让任务并行执行,描述优化流程、结论

2015-05-14 09:25:11 21651 4

原创 [Linux]shell多进程并发—详细版

linux多进程并发,详细讲解优化shell执行顺序的方案,结论

2015-05-12 21:20:29 3948 1

原创 [Hive]关于Hive的启动问题

业务背景用户轨迹工程脚本最近经常报错,报错如下:SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]FAILED: Error in metadata: MetaException(message:java.lang.RuntimeException: commitTransaction was called bu

2015-05-12 13:45:20 4881

原创 [Hive]Hive数据倾斜(大表join大表)

Hive数据倾斜(大表join大表)的现象、思路以及解决方案

2015-05-12 10:23:36 16513 2

原创 [Linux]Shell多进程并发—简易版

Shell多进程并发

2015-05-06 19:17:13 1025

原创 [Hive]Hive分区表新增字段

[Hive]Hive分区表新增字段

2015-04-03 09:58:23 43672

转载 [Hive]简单查询不启用Mapreduce job而启用Fetch task

转载自:http://blog.csdn.net/wypblog/article/details/17410315如果你想查询某个表的某一列,Hive默认是会启用MapReduce Job来完成这个任务,如下:hive> SELECT id, money FROM m limit 10;Total MapReduce jobs = 1Launching Job 1 out of

2015-04-03 09:21:58 3344

原创 [Hive]MapReduce将数据写入Hive分区表

[Hive]MapReduce将数据写入Hive分区表

2015-04-02 16:45:24 6988

原创 [Git]Git未初始化导致的错误提示

[Git]Git未初始化导致的错误提示

2015-02-01 16:59:05 15675 3

原创 [Hive]求两个集合的减集

HIVE求两个集合的减集

2015-01-13 14:10:48 6157

原创 SQL数据表两个字段关联同一张数据表

SQL数据表两个字段关联同一张数据表

2015-01-09 22:53:35 3875 1

原创 [Hive]使用HDFS目录数据创建Hive表分区

Hive使用HDFS目录数据创建Hive表分区

2014-12-22 17:36:12 7483

提示
确定要删除当前文章?
取消 删除