自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(11)
  • 收藏
  • 关注

原创 kubernetes + kubernetes-dashboard 安装和各种踩坑

首先要说明一下这玩意浑身都是坑1 安装前一定要关闭firewalld服务,否则需要配firewalld的规则2 docker启动之后会产生一个网卡,这个网卡的地址默认是172.17.0.0 网段,这是个虚拟网络,如果要是想让集群中的其他机器访问容器需要通过安装flannel来实现。所以安装完flannel和docker一定要确定一下网段和etcd中储存的是否一致,如果不一致

2017-02-10 13:22:31 54987 2

原创 storm和spring的结合

storm和spring的结合

2017-01-17 17:12:29 5397

转载 cdh安装过程

CDH安装过程1、系统安装版本redhat6.5 64位指定hostname、pwd#关闭防火墙service iptables stopchkconfig iptables off#关闭SELINUXset enforce 0 (临时生效)  修改 vi /etc/selinux/config 下的 SELINUX=disabled#配置其它项1,

2016-12-05 17:11:26 789

转载 Hive配置文件中配置项的含义详解

hive的配置:hive.ddl.output.format:hive的ddl语句的输出格式,默认是text,纯文本,还有json格式,这个是0.90以后才出的新配置;hive.exec.script.wrapper:hive调用脚本时的包装器,默认是null,如果设置为python的话,那么在做脚本调用操作时语句会变为python ,null的话就是直接执行;hive.e

2016-11-17 16:05:21 2785

转载 大数据_Storm_cluster模式下storm kill topology时做cleanup的解决方法

1.背景在bolt中,需要在topology被关闭前执行某个操作,而根据官方文档:The cleanup method is called when a Bolt is being shutdown and should cleanup any resources that were opened. There's no guarantee that this

2016-11-04 15:49:15 371

转载 Esper 视图 Views窗口语法

package com.framework_technology.esper.views;import com.framework_technology.esper.javabean.Apple;import com.java.annotation.document.Undigested;import com.java.annotation.document.Unfinished;

2016-10-08 12:41:48 1080

转载 spark Streaming 存储级别定义StorageLevel

目前在kafka存储级别选项如下:  MEMORY_ONLY默认选项,RDD的(分区)数据直接以Java对象的形式存储于JVM的内存中,如果内存空间不足,某些分区的数据将不会被缓存,需要在使用的时候根据世代信息重新计算。MYMORY_AND_DISKRDD的数据直接以Java对象的形式存储于JVM的内存中,如果内存空间不中,某些分

2016-09-19 15:39:50 6105

原创 elasticsearch API 集合

3.3.1 Preparing a query 准备查询请求import org.elasticsearch.action.search.SearchResponse;import org.elasticsearch.client.Client;import org.elasticsearch.search.SearchHit;SearchResponse response

2016-08-16 14:51:43 3981

原创 spark+hive win7开发环境配置

典型配置:spark在linux中以standalone方式运行,配置参数如下:“spark-env配置参数 ”。在windows idea中编辑代码,运行driver,连接远程master,运行程序,可同步运行查看日志,可单步调试如果连接hive需要在本机src中配置hive-site.xml中的 hive.metastore.uris配置本地hadoop_home,下载

2015-11-11 16:42:17 482

原创 spark+hive+hdfs windows开发环境配置:

典型配置:spark在linux中以standalone方式运行,配置参数如下:“spark-env配置参数 ”。在windows idea中编辑代码,运行driver,连接远程master,运行程序,可同步运行查看日志,可单步调试如果连接hive需要在本机src中配置hive-site.xml中的 hive.metastore.uris配置本地hadoop_home,下载winu

2015-11-11 16:32:25 2138

转载 Esper使用技巧

win:参数win:lengthwin:length(10) 滑动窗口,存最近的10条数据win:length_batchwin:length_batch(10) 间隔窗口,存满10条触发查询win:timewin:time(5 sec) 滑动窗口,存最近5秒内的数据单位:年/year  月/month  周/week 天/day 小时/hour 分/min 秒

2015-09-29 14:15:39 4311

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除