- 博客(161)
- 资源 (8)
- 收藏
- 关注
转载 kafka清理数据
2017年08月25日 11:15:25阅读数:2742默认配置server.conf里的核心配置项#最大日志保留大小log.retention.bytes=1073741824#日志保留时间长度log.retention.minutes=10log.segment.delete.delay.ms=1000#过期数据删除策略,最重要的配置log.cleaner.enable=truelog.cle...
2018-06-30 20:25:29 4083
转载 Kafka配置说明-server.properties
2017年09月27日 17:43:23阅读数:604以下是kafka_2.10-0.8.2.0的server.properties文件:############################# Server Basics ############################## The id of the broker. This must be set to a unique integ...
2018-06-30 20:19:38 545
转载 apache kafka中server.properties配置文件参数说明
2014年07月07日 18:10:18阅读数:30464转自:http://blog.csdn.net/lizhitao/article/details/25667831apache kafka中国社区QQ群:162272557每个kafka broker中配置文件server.properties默认必须配置的属性如下:[java] view plaincopybroker.id=0 num...
2018-06-30 20:17:32 162
转载 漫游Kafka之过期数据清理
2015年11月06日 15:40:56阅读数:23054Kafka将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩。数据清理的方式删除log.cleanup.policy=delete启用删除策略直接删除,删除后的消息不可恢复。可配置以下两个策略:清理超过指定时间清理: log.retention.hours=16超过指定大小后,删除旧的消息:log.ret...
2018-06-30 20:11:37 363
转载 YARN的内存和CPU配置
2016年11月21日 09:50:07阅读数:267Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位,具有一定的内存以及CPU资源。在YARN集群中,平衡内...
2018-06-30 20:05:01 1081
转载 Java虚拟机学习 - 内存调优
2016年12月05日 17:12:37阅读数:201VM调优主要是针对内存管理方面的调优,包括控制各个代的大小,GC策略。由于GC开始垃圾回收时会挂起应用线程,严重影响了性能,调优的目是为了尽量降低GC所导致的应用线程暂停时间、 减少Full GC次数。代大小调优最关键参数:-Xms、 -Xmx 、-Xmn 、-XX:SurvivorRatio、-XX:MaxTenuringThreshold、...
2018-06-30 19:16:03 91
转载 Java虚拟机学习 - 内存调优
2016年12月05日 17:12:37阅读数:201VM调优主要是针对内存管理方面的调优,包括控制各个代的大小,GC策略。由于GC开始垃圾回收时会挂起应用线程,严重影响了性能,调优的目是为了尽量降低GC所导致的应用线程暂停时间、 减少Full GC次数。代大小调优最关键参数:-Xms、 -Xmx 、-Xmn 、-XX:SurvivorRatio、-XX:MaxTenuringThreshold、...
2018-06-30 18:57:58 111
转载 Java虚拟机学习 - 体系结构 内存模型
2016年12月05日 10:34:30阅读数:164一:Java技术体系模块图二:JVM内存区域模型1.方法区也称"永久代” 、“非堆”, 它用于存储虚拟机加载的类信息、常量、静态变量、是各个线程共享的内存区域。默认最小值为16MB,最大值为64MB,可以通过-XX:PermSize 和 -XX:MaxPermSize 参数限制方法区的大小。运行时常量池:是方法区的一部分,Class文件中除了...
2018-06-30 18:57:24 98
转载 JVM原理图
2016年11月23日 11:13:24阅读数:211从Java平台的逻辑结构上来看,我们可以从下图来了解JVM:从上图能清晰看到Java平台包含的各个逻辑模块,也能了解到JDK与JRE的区别对于JVM自身的物理结构,我们可以从下图鸟瞰一下:对于JVM的学习,在我看来这么几个部分最重要:Java代码编译和执行的整个过程JVM内存管理及垃圾回收机制Java代码编译是由Java源码编译器来完成,流程图...
2018-06-30 18:53:09 257
转载 jvm的GC日志分析
2016年11月30日 16:58:17阅读数:273VM的GC日志的主要参数包括如下几个:-XX:+PrintGC 输出GC日志-XX:+PrintGCDetails 输出GC的详细日志-XX:+PrintGCTimeStamps 输出GC的时间戳(以基准时间的形式)-XX:+PrintGCDateStamps 输出GC的时间戳(以日期的形式,如 2013-05-04T21:53:59.234+...
2018-06-30 18:51:20 313
转载 Linux jar包 后台运行
2016年04月10日 20:54:47阅读数:32394Linux 运行jar包命令如下:方式一:java -jar shareniu.jar特点:当前ssh窗口被锁定,可按CTRL + C打断程序运行,或直接关闭窗口,程序退出那如何让窗口不锁定?方式二java -jar shareniu.jar &&代表在后台运行。特定:当前ssh窗口不被锁定,但是当窗口关闭时,程序中止运行。...
2018-06-29 13:22:07 319
转载 Linux上安装JDK
2017年09月29日 15:06:40阅读数:754Linux上安装JDK卸载Linux自带的JDK# rpm -qa|grep java // 查看jdk的信息 一般将获得如下信息: java-1.4.2-gcj-compat-1.4.2.0-40jpp.115 java-1.6.0-openjdk-1.6.0.0-1.7...
2018-06-29 13:17:39 90
转载 druid集群的安装和验证
2017年05月30日 18:16:45阅读数:3453核心 1、环境和架构 2、druid的安装 3、druid的配置 4、overlord json 5、overlord csv1、druid 环境和架构 环境信息 Centos6.5 32GB 8C *5 Zookeeper 3.4.5 Druid 0.9.2 Hadoop-2.6.5 Jdk1.7 架构 10.20.23.42 Broker...
2018-06-27 17:14:16 894
转载 互联网级监控系统必备-时序数据库之Influxdb集群及踩过的坑
互联网级监控系统必备-时序数据库之Influxdb集群及踩过的坑上篇博文中,我们介绍了做互联网级监控系统的必备-Influxdb的关键特性、数据读写、应用场景:互联网级监控系统必备-时序数据库之Influxdb本文中,我们介绍Influxdb数据库集群的搭建,同时分享一下我们使用集群遇到的坑!一、环境准备同一网段内,3个CentOS 节点,相互可以ping通3个节点CentOS配置Hosts文件,...
2018-06-27 14:53:48 1894
转载 Druid创始人Eric Tschetter详解开源实时大数据分析系统Druid
发表于2014-11-11 16:27| 21477次阅读| 来源CSDN| 0 条评论| 作者周小璐、魏伟云计算Druid开源Hadoop摘要:Druid是一个为大型冷数据集上实时探索查询而设计的开源数据分析和存储系统,提供极具成本效益并且永远在线的实时数据摄取和任意数据处理。Druid创始人Eric Tschetter在eBay上海大数据峰会上接受了CSDN的专访。Druid是为大型数据集上实...
2018-06-27 14:52:08 395
转载 Linux命令(19)用户权限管理:chown
Linux命令(19)用户权限管理:chownlinux用户权限:Linux/Unix 是多人多工作业系统,所有的档案皆有拥有者。利用 chown 可以将档案的拥有者加以改变。一般来说,这个指令只有是由系统管理者(root)所使用,一般使用者没有权限可以改变别人的档案拥有者,也没有权限可以自己的档案拥有者改设为别人。只有系统管理者(root)才有这样的权限。查看文件夹的归属:ls -l 注:档案...
2018-06-27 09:05:41 299
转载 influxDB v0.11 集群配置
2017年03月17日 09:19:22阅读数:18391.首先下载安装0.11版本之前的influxdbwget https://repos.influxdata.com/rhel/7/amd64/stable/influxdb-0.11.1-1.x86_64.rpmyum localinstall influxdb-0.11.1-1.x86_64.rpm1232.对influxdb.con...
2018-06-25 15:12:02 1201
转载 influxdb数据库集群与高可用服务体验,提到了0.11是最后一个包含集群服务的开源版本。
2016年06月01日 13:01:39阅读数:218influxdb是一个什么样的数据库呢?在官网上https://influxdata.com/ 是这样介绍的,“An open source time-series database designed for high-performance writes and compact disk storage. Supports open sour...
2018-06-25 14:37:13 11113
转载 关于weget “无法建立SSL连接”的解决方法
2017年10月04日 22:55:55阅读数:3119原文链接:http://www.bubuko.com/infodetail-1277720.html问题原型[root@POT-DOG ~]# wget https://storage.googleapis.com/golang/go1.8.linux-amd64.tar.gz--2017-10-04 22:42:01-- https://...
2018-06-25 13:53:18 4551
原创 第1步 - 安装InfluxDB Enterprise元节点
第1步 - 安装InfluxDB Enterprise元节点InfluxDB Enterprise为您的基础架构和管理用户界面(使用Chronograf)提供高度可扩展的群集,以便与群集一起工作。生产安装过程专为希望在生产环境中部署InfluxDB Enterprise的用户而设计。以下步骤将启动并运行InfluxDB Enterprise集群的第一个重要组件:元节点。如果您希望在非生产环境中评估...
2018-06-25 13:36:42 1047
转载 生产安装
http://docs.influxdata.com/enterprise_influxdb/v1.5/production_installation/生产安装过程专为希望在生产环境中部署InfluxEnterprise的用户而设计。如果您希望在非生产环境中评估InfluxEnterprise,请随时按照QuickStart安装部分所述的指示进行操作 。请注意,如果您使用QuickStart安装过...
2018-06-25 13:24:57 193
转载 InfluxDB1.2.4部署(centos6.8)
shhnwangjian博客园首页新随笔联系订阅管理随笔 - 281 文章 - 3 评论 - 12InfluxDB1.2.4部署(centos6.8)InfluxDB介绍官网:https://www.influxdata.com/文档:https://docs.influxdata.com/influxdb/v1.2/introduction/InfluxDB 是用Go语言编写的一个开源分布式...
2018-06-25 13:04:48 502
转载 influxDB v0.11 集群配置
2017年03月17日 09:19:22阅读数:18361.首先下载安装0.11版本之前的influxdbwget https://repos.influxdata.com/rhel/7/amd64/stable/influxdb-0.11.1-1.x86_64.rpmyum localinstall influxdb-0.11.1-1.x86_64.rpm1232.对influxdb.con...
2018-06-25 11:30:02 1041
转载 如何在CenTos 7上开端口号听语音
浏览:1671|更新:2017-04-26 04:27在CenTos 7上开端口号。工具/原料Centos 7方法/步骤1查询端口号:firewall-cmd --query-port=8020/tcp查询端口号8020 是否开启!2开永久端口号:firewall-cmd --add-port=8020/tcp --permanent这里把8020替换为需要开的端口号, --permanent是指...
2018-06-25 09:14:05 142
转载 centos yum 安装Mosquitto
jackjiaxiong关注0人评论303人阅读2017-05-05 16:32:051,先加入yum源12345678#vi /etc/yum.repos.d/mosquitto.repo[home_oojah_mqtt]name=mqtt (CentOS_CentOS-6)type=rpm-mdbaseurl=http://download.opensuse.org/repositories/...
2018-06-25 09:00:30 2808
转载 centos EMQTTD 集群安装配置与测试验证
时间:2017-05-09 13:49:31 阅读:2556 评论:0 收藏:0 [点我收藏+]标签:centos emqttd 集群安装配置与测试验证安装包下载地址:http://emqtt.com/downloads在这里我们下载 emqttd-centos6.8-v2.1.2.zip配置两台主机hosts192.168.0.10 s1.emqtt.i...
2018-06-25 08:58:56 263
转载 jvm调优总结
2015年03月27日 15:35:29阅读数:2862堆大小设置JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。而在windows下,由于windows内存管理的问题,jvm能用的内存可能会更少。典型设置:java -Xmx1024m -...
2018-06-24 14:28:02 110
转载 Storm 原理机制杂记
2018年03月12日 18:40:58阅读数:41Storm 原理机制杂记作者:paul_wei2008Storm:Storm是Twitter开源的分布式实时计算系统,Storm通过简单的API使开发者可以可靠地处理无界持续的流数据,进行实时计算,开发语言为Clojure和Java,非JVM语言可以通过stdin/stdout以JSON格式协议与Storm进行通信。Storm的应用场景很多:实时...
2018-06-24 13:03:56 216
转载 Storm 原理机制杂记
2018年03月12日 18:40:58阅读数:41Storm 原理机制杂记作者:paul_wei2008Storm:Storm是Twitter开源的分布式实时计算系统,Storm通过简单的API使开发者可以可靠地处理无界持续的流数据,进行实时计算,开发语言为Clojure和Java,非JVM语言可以通过stdin/stdout以JSON格式协议与Storm进行通信。Storm的应用场景很多:实时...
2018-06-24 12:50:16 138
转载 ELK Stack集群部署+Grafana及可视化图形
置顶2017年01月17日 16:20:48阅读数:13962一、概念介绍ElasticsearchElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是第二流行的企业搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,...
2018-06-23 21:37:00 636
转载 Prometheus+Grafana搭建监控系统(一)
2017年11月15日 09:28:30阅读数:7967之前在业务中遇到服务器负载过高问题,由于没有监控,一直没发现,直到业务方反馈网站打开速度慢,才发现问题。这样显得开发很被动。所以是时候搭建一套监控系统了。 由于是业余时间自己捯饬,所以神马业务层面的监控先不做,先用最简单的方式接入系统层面的监控,例如服务器、数据库等。 调研了一段时间,发现Prometheus+Grafana还是可以的。这里就...
2018-06-23 21:30:43 5151 1
转载 centos7优化内核参数详解
2016年08月05日 21:43:54阅读数:13989cat /etc/sysctl.conf#CTCDN系统优化参数#关闭ipv6net.ipv6.conf.all.disable_ipv6 = 1net.ipv6.conf.default.disable_ipv6 = 1# 避免放大攻击net.ipv4.icmp_echo_ignore_broadcasts = 1# 开启恶意icmp错误...
2018-06-23 21:27:32 992
转载 利用Grafana监控网站访问延时率
2017年09月11日 15:58:11阅读数:967最近在玩zabbix+grafana结合,发现grafana有个插件很有趣,他可以监控多地点访问自定义网站的延时率,可以很好的判断网站的联通性。特别是对使用cdn网络的网站监控很有帮助,之前我就经常遇到因为cdn节点挂了导致一个区域的用户都访问不了公司网站,结果等到客户报障才发现,被领导叼了好久。。。首先要安装grafanadebian系列1....
2018-06-23 21:23:00 3193 1
转载 influxdb时序数据库,查询,批量插入实例
2018年01月04日 00:10:10阅读数:1721如红框为influxdb使用jar包。——influxdb工具类——package com.sqlServerToInfluxdb.jdbc;import java.util.Map;import org.influxdb.InfluxDB;import org.influxdb.InfluxDBFactory;import org.infl...
2018-06-23 21:22:06 9520 5
转载 grafana图形化数据展示软件介绍
2016年04月04日 22:43:42阅读数:14385http://grafana.org/一、从官网上看一下特色Rich GraphingFast and flexible client side graphs with a multitude of options.Click and select region to zoomMultiple Y-AxesBars, Lines, Poin...
2018-06-23 21:07:06 2689
转载 MongoDB数据库的基本操作
2016年11月05日 17:04:01阅读数:476创建数据库//use+数据库名>use mydb//显示当前选定的数据库>db//查看当前数据库列表>show dbs//隐式创建集合>db.movies.insert({"name","尖峰时刻"})123456789删除数据库//先切换到要删除的数据库use mydbdb.dropDatabase...
2018-06-22 10:08:00 131
转载 mongo shell客户端常用命令
2014年06月13日 17:54:27阅读数:696mongo常用一些命令:寻求帮助help查看所有的数据库show dbs查看一个数据库所有的表show collection查看用户show usersshow profile;查看主机的名称hostname();查看当前目录pwd();查看数据库相关的帮助:db.help();查看mongo数据库当前数据库服务器状态db.serverStat...
2018-06-22 10:04:14 377
转载 MQTT协议笔记之连接和心跳
2017年03月11日 20:28:22阅读数:506前言本篇会把连接(CONNECT)、心跳(PINGREQ/PINGRESP)、确认(CONNACK)、断开连接(DISCONNECT)和在一起。CONNECT像前面所说,MQTT有关字符串部分采用的修改版的UTF-8编码,CONNECT可变头部中协议名称、消息体都是采用修改版的UTF-8编码。前面基本上可变头部内容不多,下面是一个较为完整的CO...
2018-06-21 11:57:56 3127
cas +shiro集成
2018-08-01
cas客户端集成单点登录代码3
2018-07-31
cas客户端集成单点登录代码
2018-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人