文档
文章平均质量分 54
姥爷家的小胡同
专注于数据分析
展开
-
shell脚本-有关时间的操作
date -d "-1 day $date" +%Y%m%d获取昨天的时间(格式:yyyyMMdd)`换一种输出格式yyyy-MM-dd:date -d "-1 day $date" +%Y-%m-%d 获取昨天的时间再换种格式 yyyy-MM-dd HH:mm:ss:date -d "-1 day $date" "+%Y-%m-%d %H:%M:%S"可以多试几种格式~date -d "-1 we原创 2017-09-17 20:05:30 · 1737 阅读 · 0 评论 -
Azkaban Executor 设置任务并行度
近期需求,想对Azkaban当前运行的最大flow数有所控制。flow中可以包含多个job。(默认读者熟悉azkaban)查到官网配置文件: https://azkaban.github.io/azkaban/docs/latest/#azkaban-execserver在Azkaban executor的conf/azkaban.properties中配置:**executor.f...原创 2018-07-27 15:32:34 · 5887 阅读 · 0 评论 -
Kudu使用的一些限制(1.4.0版本)
原文链接 : http://kudu.apache.org/docs/known_issues.html 译文链接 : http://cwiki.apachecn.org/pages/viewpage.action?pageId=10813650Primary keys ( 主键 )创建表后,主键可能不会更改。您必须删除并重新创建表以选择新的主键。 构成主键的列必须首先列在模式中。...原创 2018-07-22 18:52:18 · 1027 阅读 · 0 评论 -
impala的保留关键字,建表时慎用
在使用impala建kudu表时,如果使用了impala的保留关键字,在查询时,需要对关键字字段加上“符号,所以尽量不要使用的关键字。例如:select timestamp from kudu_test; //会报错select `timestamp` from kudu_test; //正常impala 保留关键字: http://impala.apache.or...原创 2018-07-22 18:34:33 · 5644 阅读 · 0 评论 -
nginx获取post body值(搭建nginx + lua)
nginx 配置 luahttps://github.com/openresty/lua-nginx-module#installation1. 下载安装LuaJITwget http://luajit.org/download/LuaJIT-2.0.5.tar.gz tar -xvzf make install PREFIX=/usr/local/luajit注意环境...原创 2018-07-22 12:38:54 · 3811 阅读 · 0 评论 -
Python Spark Streaming任务监控
spark Streaming 监控脚本转载 2017-11-24 15:17:08 · 1247 阅读 · 0 评论 -
从Kudu中导出、导入数据
从kudu的表中导出数据,源码中提供了一系列的工具包。kudu导出数据或者导入数据:这是一个spark Application,根据代码中的用法:可以选择导入或者导出数据 可以选择文件格式(csv,avro) 可以选择表名 可以选择输出路径 可以选择kudu的master如果有特殊需求可以修改源码。1. 用maven编译: mvn package -DskipTests2. 然后运行s原创 2017-12-10 18:05:29 · 5293 阅读 · 1 评论 -
Spark-SQL之DataFrame操作大全
一DataFrame对象的生成二DataFrame对象上Action操作show展示数据collect获取所有数据到数组collectAsList获取所有数据到Listdescribecols String获取指定字段的统计信息first head take takeAsList获取若干行记录二DataFrame对象上的条件查询和join等操作where转载 2017-09-15 15:00:28 · 573 阅读 · 0 评论 -
使用CURL加参数POST数据
来自 https://davidwalsh.name/curl-post-filePOSTing Form Data with cURLStart your cURL command with curl -X POST and then add -F for every field=value you want to add to the POST:curl -X POST -F ...转载 2018-08-02 14:25:47 · 10122 阅读 · 0 评论