- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 有关Logstash的笔记
安装Logstash安装前提:Logstash需要java.所以需要首先安装java7或以上版本.使用oracle的java或者开源的Openjdk均可以参考这里.开始安装,我的系统是Ubuntu 16.04.发现通过deb形式安装或者通过 配置仓库安装之后.均不太好找到Logs...
2018-04-23 20:48:58
354
转载 logstash Codec插件
[html] view plain copy print?Codec: 解码编码 数据格式 json,msgpack,edn logstash处理流程: &am
2018-04-23 19:56:16
2346
转载 eclipse安装lombok
由于项目中有@Slf4j 注解等，而eclipse需要安装lombok插件才能正常编译。由于之前对lombok 一片空白，查了多个帖子，详细总结了一下在window下eclipse安装lombok。 下载 lombok.jar (https://projectlombok.org/...
2018-04-19 11:45:33
223
转载 Kibana的图形化——Tile Map
简介 当我们查看访问网站的流量的来源时，往往通过awk+sed或其他工具分析日志文件，有没有一种方式可以实时查看并且在地图上直观的表现出来？当然，我们的Kibana就可以做到，下面我们来看看如何配置吧。配置本文是在http://http://blog.csdn.net/ya...
2018-04-16 10:10:23
2062
转载 logstash 中配置GeoIP解析地理信息
logstash中配置的GeoIP的数据库解析ip了，这里是用了开源的ip数据源，用来分析客户端的ip归属地。官网在这里:MAXMIND 下载GeoLiteCity数据库wget http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gztar -zxvf GeoLite2-City.tar.gz...
2018-04-16 10:06:39
4726
转载 Logstash模块之geoip
Logstash模块之geoip在对Logstash的实际应用中，为了从日志中ip获取到用户访问时的所在地，用到了geoip这个模块。刚开始使用时并未注意到一些细节，但在做数据分析的时候发现了geoip的坑配置关于geoip的配置这里就不阐述了，有兴趣的可以看看 logsta...
2018-04-13 17:13:01
616
转载 eclipse中git分支创建与合并
1、team–>switch to –>new branch:2、接下来，我们在自己的分支里面进行文章的更改：3、提交已改动的内容到本地版本库4、将改动push到分支5、这个时候继续操作主干，为了模拟项目真实情况，我们在主干上进行修改，并进行多次提交跟更新；6、这个时候假定分支任务已经完成，我们需要合并分支，首先将...
2018-04-13 17:11:32
218
转载 Logstash处理json格式日志文件的三种方法
假设日志文件中的每一行记录格式为json的，如：{"Method":"JSAPI.JSTicket","Message":"JSTicket:kgt8ON7yVITDhtdwci0qeZg4L-Dj1O5WF42Nog47n_0aGF4WPJDIF2UA9MeS8GzLe6MPjyp...
2018-04-13 17:09:05
1887
转载 logstash中字符串的split，对每个子串进行json解析
最近遇到一个需求，大致是字符串用\t分割，每一个子串都是一个json串，需要用logstash对该字符串进行结构化处理，用于elasticsearch和可视化kibana。 字符串格式如下：{"person":{"age":"11"}} this is the samp...
2018-04-13 17:07:11
2021
转载 Logstash的数据类型和基本语法
From:http://www.ttlsa.com/elk/elk-logstash-configuration-syntax/logstash支持的数据类型有：array数组可以是单个或者多个字符串值。path => [ “/var/log/messages”, “/var...
2018-04-13 17:03:08
5984
转载 Maven常用命令：
Maven常用命令：Maven库：http://repo2.maven.org/maven2/Maven依赖查询：http://mvnrepository.com/ 一，Maven常用命令：创建Maven的普通Java项目：mvn archetype:create -DgroupId=packageName -DartifactId=project...
2018-04-13 17:00:10
191
转载 Git 常用命令大全
一、 Git 常用命令速查git branch 查看本地所有分支git status 查看当前状态 git commit 提交 git branch -a 查看所有的分支git branch -r 查看远程所有分支git commit -am “init” 提交并且加注释 git re...
2018-04-13 16:36:58
126
转载 Git SSH Key 生成步骤
设置git的用户名和密码如果没有设置git的用户名和密码，先设置下，命令如下：git config --global user.name "8070@qq.com"git config --global user.email "8070@qq.com"12生成SSH密钥步骤查看是否已经有了s...
2018-04-13 16:17:01
1044
转载 git简介和使用/git的cmd命令/git界面使用
git是一款免费/开源的分布式版本控制系统. github是一个面向开源及私有软件项目的托管平台,因为只支持git作为唯一的版本库格式进行托管.git的工作原理图:workspace:工作区index/staged:暂存区repository:本地仓库remote:远程仓库workspace首先是a...
2018-04-13 16:14:26
10708
转载 java实现spark streaming与kafka集成进行流式计算
java实现spark streaming与kafka集成进行流式计算2017/6/26补充：接手了搜索系统，这半年有了很多新的心得，懒改这篇粗鄙之文，大家看综合看这篇新博文来理解下面的粗鄙代码吧，http://blog.csdn.net/yujishi2/article/deta...
2018-04-13 16:10:06
444
转载 ELK 之 Logstash
ELK 之 Logstash 原创 2017年08月09日 17:27:49 <ul class="article_tags clearfix ...
2018-04-12 13:33:06
128
转载 Logstash简单介绍
Logstash入门介绍 大家好，我是一名程序员，我叫迷途的攻城狮，英文名字：Lost Engineer。我是一个有理想、有目标的完美主义者，永远都不安于现状。俗话说：不想当裁缝的厨子不是一个好司机，所以我的理想是将来有一天能成为一个超越我自己的人！ 这是我的第一...
2018-04-12 13:29:27
959
转载 使用IntelliJ IDEA 配置Maven（入门）
1. 下载Maven 官方地址：http://maven.apache.org/download.cgi解压并新建一个本地仓库文件夹 2.配置本地仓库路径 3.配置maven环境变量 4.在IntelliJ IDEA中配置maven ...
2018-04-09 16:16:41
684
转载 Git SSH Key 生成步骤
Git是分布式的代码管理工具，远程的代码管理是基于SSH的，所以要使用远程的Git则需要SSH的配置。github的SSH配置如下：一 、设置Git的user name和email：$ git config --global user.name "xuhaiyan"</pre><pre class=...
2018-04-09 15:35:50
402
转载 Hive表导入数据
导入数据到Hive表中有4种方式：使用HDFS文件管理命令复制/移动文件到Hive表数据存放目录，使用LOAD DATA命令，使用INSERT INTO TABLE tablename SELECT ...语句和使用CREATE TABLE tablename AS SELECT ...语句...
2018-04-06 15:06:49
256
转载 HBase性能优化
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数...
2018-04-02 21:47:42
134
转载 mysql原理
本文来自作者 默默 在 GitChat 上分享 「深入理解 MySQL 底层实现」，「阅读原文」查看交流实录。「文末高能」编辑 | 哈比MySQL 的常用引擎1. InnoDBInnoDB 的存储文件有两个，后缀名分别是 .frm 和 ...
2018-04-01 10:28:17
1409
转载 hashmap原理
参考文章http://blog.csdn.net/vking_wang/article/details/141665931、HashMap有一个叫做Entry的内部类，它用来存储key-value对。 2、上面的Entry对象是存储在一个叫做table的Entry数组中。 3、tab...
2018-04-01 10:26:21
140
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人