- 博客(121)
- 收藏
- 关注
RSS订阅转载 Windows性能计数器监控实践
Windows性能计数器(Performance Counter)是Windows提供的一种系统功能，它能实时采集、分析系统内的应用程序、服务、驱动程序等的性能数据，以此来分析系统的瓶颈、监控组件的表现，最终帮助用户对系统进行合理调优。市面上采集Windows性能计数器指标的产品参差不齐，尤其在处理某类应用程序有多个进程实例时，采集的数据更是差强人意。所幸微软为码农精心准备了获得性能计数...
2019-06-24 20:21:00
520
转载 基于Grafana的监控数据钻取功能应用实践
互联网企业中，随着机器规模以及业务量的爆发式增长，监控数据逐渐成为一种大数据，对监控大数据的分析，包括数据采集、数据缓存、数据聚合分析、数据存储、数据展现等几个阶段。不同阶段有不同的解决方案及支撑工具，而数据展现作为最终的可视化手段，在整个监控大数据分析过程中起着举足轻重的作用，本文分享一下笔者基于Grafana的监控数据钻取功能应用实践，供感兴趣的同行做参考。...
2019-03-30 23:32:00
1457
转载 Linux下修复修改profile文件导致命令不用可的解决方法
在配置环境变量时，修改了/etc/profile 文件，然后source /etc/profile由于一个配置错误，导致一些系统命令没法使用了 ll-bash: ls: command not found用下面方法可以修复命令行 输入;export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin...
2019-02-05 21:37:00
686
转载 将Windows下的InfluxDB、Grafana做成Windows服务
从网上下载的Windows下的InfluxDB、Grafana，都是控制台程序，打开窗口后，很容易被别人给关掉，因此考虑做成Windows服务，nssm正是解决该问题的利器。1.下载nssm http://www.nssm.cc/download 查看官网提示，如果是win10，并且更新到了“Creators Update”，应该下载“nssm 2.24-1...
2019-01-19 21:50:00
466
转载 基于InfluxDB实现分页查询功能
InfluxDB作为时序数据库中的翘楚，应用范围非常广泛，尤其在监控领域。 最近做了一个功能，将InfluxDB中的数据查询出来后，在前台分页展现，比如每页10条，一共100页，可以查看首页、末页，进行翻页：前页、后页等。 InfluxDB是时序数据库，因此时间列很重要，但是要进行分页查询的话，研究了一下，也很方便，不需要查询出来后进行内存分页，直接进行数据库端分页就行：...
2018-12-15 15:16:00
2471
转载 Windows下使用Rtools编译R语言包
使用devtools安装github中的R源代码时，经常会出各种错误，索性搜了一下怎么在Windows下直接打包，网上的资料也是参差不齐，以下是自己验证通过的。一、下载Rtools 下载地址：https://cran.r-project.org/bin/windows/Rtools/ 根据自己安装的R版本，下载兼容的Rtools即可，我下载的是...
2018-11-09 22:17:00
2725
转载 人工智能进阶必备知识
一、转自2018世界互联网大会1956年达特矛斯会议第一次提出了人工智能的概念二、转自马哥的教育转载于:https://www.cnblogs.com/liugh/articles/9933525.html...
2018-11-09 10:09:00
186
转载 Python从入门到精通
最近研究了一下Python，名不虚传，确实挺精彩。 学习一门新的语言，我认为从入门到精通的做法是：下SDK、装IDE、练教程、结合工作应用、不断踩坑进阶、梳理总结1.下SDK（2.7.15） 下载地址：https://www.python.org/downloads/release/python-2715/ 如果没有历史包袱，建议用3.X2.装IDE（P...
2018-11-07 11:50:00
184
转载 Windows中几个内存相当的指标
以下几个内存大小相当：IS：虚拟内存任务管理器：提交内存进程对象上的：PrivateMemorySize64,性能计数器：Process\Private Bytes转载于:https://www.cnblogs.com/liugh/p/9875697.html...
2018-10-30 11:13:00
210
转载 Windows应用程序进程级别统一监控实践
一般的系统级别指标监控，更多关注CPU、内存、磁盘、网络等运行情况，对应用程序运行时的进程指标关注不够，导致不能深入了解系统运行状态。本文根据笔者应用实践，探讨一下进程级别监控涉及到的监控内容以及监控方式，供感兴趣的同行做参考。一、监控内容 众所周知，应用软件最终表现为应用程序，程序是指令、数据及其组织形式的描述，其本身没有任何运行的含义...
2018-09-30 22:51:00
401
转载 基于时序数据的微内核预警引擎架构设计
一个完整的监控生态体系包括“监、析、控”三个环节，预警平台作为偏“析”的一环，既要对监控数据做规则分析，又要为控制系统生成预警日志，起着承上启下的作用。监控平台收集的数据，是典型的随着时间变化的时间序列数据（以下简称“时序数据”），如何针对时序数据设计灵活可控的预警引擎，是预警平台的首要任务。本文根据笔者的实践体会，探讨一下基于时序数据的微内核预警引擎架构设计，希望能给感兴趣的同...
2018-08-31 23:10:00
199
转载 Flink1.4.0连接Kafka0.10.2时遇到的问题
Flink1.4.0连接部署在Linux上的Kafka0.10.2时，报如下异常：org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase - Async Kafka commit failed.org.apache.kafka.clients.consumer.CommitFailedEx...
2018-07-21 23:19:00
882
转载 w3wp.exe进程与应用程序池的对应关系
https://blogs.msdn.microsoft.com/friis/2009/10/22/which-w3wp-exe-pid-corresponds-to-which-application-pool/Navigate to the folder whereappcmdis located and run the following command:app...
2018-07-12 11:54:00
202
转载 解决写入InfluxDB时，报unbalanced quotes的问题
从客户端收集到Web站点信息后，写入InfluDB时，报如下异常：InfluxDB.Net.Infrastructure.Influx.InfluxDbApiException: InfluxDb API responded with status code=BadRequest, response={"error":"partial write: unable...
2018-07-12 09:23:00
1321
转载 根据应用程序池名称获得第一个站点的物理路径
依赖DLL：Microsoft.Web.Administration.dll /// <summary> /// 根据应用程序池名称获得第一个站点的物理路径 /// </summary> /// <param name="appPoolName">应用程序池名称</par...
2018-06-27 13:57:00
198
转载 特来电CMDB应用实践
配置管理数据库（Configuration Management Database，以下简称CMDB）是一个老生常谈的话题，不同的人有不同的见解，实际应用时，因为企业成熟度以及软硬件规模不同，别人的成功经验很难直接复制，因此用好了会成为整个应用系统的基石，用不好就成了鸡肋。特来电云平台在规划伊始，便意识到了CMDB的重要性，在实践中不断丰富完善其内容，探索出了一条行之有效...
2018-05-31 16:40:00
256
转载 HDFS 2.7.4中hdfs-site.xml参数未配置引发的一些异常
生产上部署了HDFS 2.7.4，最近遇到了一些异常，记录下来备忘：一、dfs.datanode.directoryscan.throttle.limit.ms.per.secDataNode运行一段时间后，报如下异常：ERROR org.apache.hadoop.hdfs.server.datanode.DirectoryScanner: dfs.datanode.d...
2018-05-09 20:54:00
350
转载 特来电自动运维应用实践
经过三年多的快速发展，特来电云平台从无到有，从有到强，从强到精，在应用实践中不断打磨完善，逐渐成长为国内乃至国际充电网领域的标杆，支撑了每天300余万度，总量8亿余度的充电量。这背后既有云平台沉淀出的技术创新性与前瞻性，也有云平台研发人员刨根问底追求卓越的精神，更有运维系统及运维人员枕戈待旦默默付出的努力。笔者在此抛砖引玉，略谈对监控与运维的认知，以及特来电在自动运维方面...
2018-04-23 18:10:00
609
转载 通过代码动态创建Windows服务
开发完Windows服务后，一般通过如下命令进行注册Windows服务@echo off%SystemRoot%\Microsoft.NET\Framework64\v4.0.30319\installutil.exe %~dp0\服务程序.exepause除了脚本的方式，通过代码，也可以注册Windows服务： var ti = n...
2018-03-31 23:27:00
145
转载 通过代码动态创建IIS站点
对WebApi进行单元测试时，一般需要一个IIS站点，一般的做法，是通过写一个批处理的bat脚本来实现，其实通过编码，也能实现该功能。 主要有关注三点：应用程序池、Web站点、绑定（协议类型：http、https，IP地址，端口，主机名）1.总体代码 var webSite = app.WebSite; using (var s...
2018-03-31 23:18:00
319
转载 SQLServer中使用Split功能分割字符串
一般的开发语言中，都有Split函数，可以将某个字符串按照分隔符进行分割，返回一个数组，非常方便。 但在SQLServer中，却没有默认提供Split函数，不过总有解决方案，以下是某大牛写的，比起网上的其他解决方案，思路很清晰，值得一看： 参考文章1：http://www.webtechminer.com/split-function-in-sql-server-to-b...
2018-02-05 23:22:00
390
转载 Flink1.4.0中反序列化及序列化类变化
Flink1.4.0中，反序列化及序列化时继承的类，有一些被标记为了“@deprecated”，路径上也有变化：1.AbstractDeserializationSchema以前路径org.apache.flink.streaming.util.serialization.AbstractDeserializationSchema现在路径：org.a...
2018-02-04 12:00:00
487
转载 解决Flink输出日志中时间比当前时间晚8个小时的问题
Flink安装在CentOS7上，默认时间是UTC时间，查看Flink日志，发现输出时间比当前时间晚8个小时。 通过如下命令，调整成北京时间cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 但是查看Flink输出的日志时间格式，输出时间仍然比当前时间晚8个小时！ 经过研究，以下操作，可以解...
2018-02-02 13:19:00
922
转载 使用Flink的Savepoint功能
Flink通过Savepoint功能可以做到程序升级后，继续从升级前的那个点开始执行计算，保证数据不中断。 Flink中Checkpoint用于保存状态，是自动执行的，会过期，Savepoint是指向Checkpoint的指针，需要手动执行，并且不会过期。 据Flink路线图，后面Savepoint会和Checkpoint合并成一个，不像现在这样分成两个...
2018-01-27 23:53:00
2824
转载 基于Grafana+SimpleJson的灵活报表解决方案
在时序分析及监控展现领域，Grafana无疑是开源解决方案中的翘楚，其灵活的插件机制，支持各种漂亮的面板、丰富的数据源以及强大的应用。典型的面板有Graph、Text、Singlestat、PieChart、Table、Histogram等，支持的数据源有ES、Graphite、InfluxDB、OpenTSDB、MySQL、Druid 、Prometheus、Simpl...
2018-01-19 14:40:00
900
转载 Scala安装时的坑
重新安装了Scala（2.11.12版本）到d:\Program Files下，查看版本时，报如下异常：百度了一下，竟然是不允许空格，太low了。装到d:\Scala后问题解决转载于:https://www.cnblogs.com/liugh/p/8301906.html...
2018-01-17 11:27:00
324
转载 Windows批量添加防火墙例外端口
Windows下批量添加防火墙例外端口，查了网上资料，基本上都是使用“Netsh命令”，循环增加端口，这会导致建立的规则特别多，不便于管理，查了下微软的资料，原来是Netsh命令，只支持一个端口： 在我机器上执行Netsh命令时，提示不建议用这个了，推荐用：netsh advfirewall firewall 于是根据提示，查询：https://go.micros...
2018-01-10 15:39:00
924
转载 VMware与Hyper-V
前段时间在Windows10上安装Hyper-V，使用docker时，提示要卸载VMware 今天重新安装VMware时，提示： 根据连接进去：https://kb.vmware.com/s/article/2146361 提示要卸载Hyper-v： 真是水火不容。 在Windows 10 下，即使不安装 Hyper-V 程序，其服务也开启了...
2017-12-30 22:07:00
148
转载 InfluxDB:cannot use field in group by clause
最近在使用InfluxDB时，发现一个很奇怪的问题，一个本来正常的功能，做了一次改动后，就不能正常显示了.一、查询语句SELECT MEMORY FROM "ACM_PROCESS_MONITOR" GROUP BY USER_NAME异常信息如下：Server returned error: can not use field in GROUP BY ...
2017-12-27 23:02:00
178
转载 .Net版InfluxDB客户端使用时的一些坑
1.如果应用程序是WebAPi，则需要使用同步版的InfluDB客户端2.如果应用程序是Winform或Console程序或Windows服务，则使用同步或异步版客户端都可以，建议用异步版3.如果写InfluxDB时，某一列是int型或Long型，influxdb协议会在数字后面加一个“i”，但是在InfluxDB数据库中，有时会出现负数，建议都用double类型...
2017-12-25 21:56:00
1183
转载 KafkaManager中Group下不显示对应Topic的解决方案
一、软件版本 Kafka：0.8.2.1 KafkaManager：1.2.9.10二、问题现象 点击Consumer下某个组，显示如下图所示的异常： 查看KafkaManager的Application.log，有如下异常信息:使用zkCli.cmd查看，如下图所示：只有一个offsets，正常应该还有：[owners...
2017-12-23 15:33:00
860
转载 Linux下查看Go语言软件运行情况
在Linux下，使用“jps”可以查看用Java语言写的软件的运行情况，如果要查看GO语言写的软件的运行情况，可以使用“gops”，但这不是系统自带的，需要进行安装。1.安装gityum install git2.安装golangyum install go -y添加环境变量（/etc/profile）export GOPATH=/var/...
2017-12-21 20:24:00
1650
转载 Flink升级到1.4版本遇到的坑
Flink 1.4没出来以前，一直使用Flink 1.3.2，感觉还算稳定，最近将运行环境升级到1.4，遇到了一些坑：1.需要将可运行程序，基于1.4.0重新编译一次2.对比了一下flink-conf.yml中的配置，发现一处不同点：# The port under which the web-based runtime monitor listens.# A va...
2017-12-18 15:01:00
660
转载 Spark Streaming VS Flink Streaming
引自：https://www.slideshare.net/datamantra/introduction-to-flink-streaming转载于:https://www.cnblogs.com/liugh/p/7988333.html
2017-12-05 17:25:00
89
转载 基于Flink秒级计算时CPU监控图表数据中断问题
基于Flink进行秒级计算时，发现监控图表中CPU有数据中断现象，通过一段时间的跟踪定位，该问题目前已得到有效解决，以下是解决思路：一、问题现象 以SQL02为例，发现本来10秒一个点的数据，有时会出现断点现象，会少1-2个点甚至更多：二、问题定位 针对该问题，根据数据处理链路，制定了数据输出跟踪示意图，如下所示：...
2017-12-03 22:31:00
298
转载 一个不错的老外博客
网址：http://blog.madhukaraphatak.com/首页：转载于:https://www.cnblogs.com/liugh/p/7956300.html
2017-12-02 23:15:00
1429
转载 大数据计算引擎发展的四个阶段
根据一些公开资料整理，也许有失偏颇，仅供参考：1.第一代Hadoop 承载的 MapReduce2.第二代支持 DAG（有向无环图） 的框架：Tez 、 Oozie，主要还是批处理任务3.第三代Job 内部的 DAG（有向无环图） 支持（不跨越 Job），以及强调的实时计算：Spark4.第四代对流计算的支持，以及更一步的实时性：Flink...
2017-11-12 23:08:00
583
转载 特来电监控引擎流计算应用实践
随着云计算的深入落地，大数据技术有了坚实的底层支撑，不断向前发展并日趋成熟，无论是传统企业还是互联网公司，都不再满足于离线批处理计算，而是更倾向于应用实时流计算，要想在残酷的企业竞争中立于不败之地，企业数据必须被快速处理并输出结果，流计算无疑将是企业Must Have的大杀器。作为充电生态网的领军企业，特来电在流计算方面很早便开始布局，下面笔者抛砖引玉的谈一下流计算及在特来电监控...
2017-11-06 18:04:00
313
转载 Intellij IDEA设置运行时Java参数
1.选中类，点击顶部菜单：Run-->Edit Configuration，如下所示：2.选择Application，指定的类，在右边选择Configuration，并在VM options中输入相应参数，如下所示：转载于:https://www.cnblogs.com/liugh/p/7645135.html...
2017-10-10 13:31:00
2014
转载 以local模式使用Xshell+Xmanager远程监控jvisualvm
使用jvisualvm的remote方式监控服务器端jvisualvm时，不是很方便，因此通过local方式，应该是正路。一、服务器端（Linux，最小安装模式，没有图形界面）1.安装xauth如果在Xshell中配置了X11转发后，出现如下提示：WARNING!The remote SSH server rejected X11 forwarding re...
2017-10-05 21:41:00
487
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人