- 博客(6)
- 收藏
- 关注
原创 impala创建parquet文件的外表及两个容易忽略的陷阱
impala外表的创建方法impala创建外表有两种方式,一种由impala-shell 进行创建,一种通过hive shell进行创建。impala-shell 进行创建准备工作连接impala-shell在文本中书写impala的创建表语句例子create table stats_xxxx_day( ID STRING, STATDATE STRING ) partition by(p_sta...
2018-04-21 19:27:44 3304
原创 kafka0.2.10.0安装配置及demo
1. 简介kafka (官网地址:http://kafka.apache.org)是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。i. 消息的发布(publish)称作producer,消息的订阅(subscribe)称作consumer,中间的存储阵列称作broker。ii. 多个broker协同合作,producer、consumer和broker三者之间通过zookeeper来协调请...
2018-04-21 19:40:41 157
原创 svn 转git ,项目配置方案
简介svn和git都是常用的版本管理软件,但是git无论在理念或是功能上都比svn更为先进。但是有的公司是以svn作为中央仓库,这时git与svn代码的同步就可以通过 git-svn这个软件进行,从而用git管理svn代码。最后的效果相当于把svn仓库当作git的一个remote(远程仓库),而你本地的代码都是通过git来管理,只有push到svn时才会把你本地的commit同步到svn。从svn...
2018-04-21 19:38:43 406
原创 haproxy的配置教程
#haproxy1.7编译安装配置#centos7 x86_64#高可用、负载均衡 使用1.#下载#http://www.haproxy.org/download/1.7/src/haproxy-1.7.8.tar.gz#cd /data/nfs/download#yum install gcc gcc-c++ autoconf automake -y2.查看linux内核> uname -...
2018-04-21 19:36:59 723
原创 spark 实时流任务优雅停止
大数据优雅停止程序步骤(1)通过Hadoop 8088页面找到运行的程序(2)打开spark ui的监控页面(3)打开executor的监控页面(4)登录liunx找到驱动节点所在的机器ip以及运行的端口号(比如端口为56194)(5)然后执行一个封装好的命令sudo ss -tanlp | grep 56194 |awk '{print $6}'|awk -F, '{print $2}'|aw...
2018-04-21 19:35:52 2755
原创 Azkaban安装部署
Azkaban安装部署 在2.5版本之后,Azkaban提供了两种模式来安装: 一种是standalone的“solo-server”模式;另一种是两个server的模式,分别为AzkabanWebServer和AzkabanExecutorServer 两个server的模式: 安装准备Azkaban官网: https://azkaban.github.io软件下载地址: https://git...
2018-04-21 19:34:00 314
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人