自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

AndyLizh的专栏

给人生一个梦,给梦一条路,给路一个方向!

原创 如何用Hive“傻瓜式”搭建数据仓库—Hive安装部署

一、前言: 数据仓库主要用来用来存储公司或者企业的历史数据,即日积月累的数据。 1、数据库与数据仓库区别: 关系型数据库是基于事务性的,数据仓库是根据主题构建的。 2、使用示例: l 用户使用天然气的大数据分析 l 电影票房分析收视率等 l 百度搜索关键词分析热词 二、Hive简介...

2017-04-28 18:23:42 5844 0

转载 Hive 使用RegexSerDe来处理标准格式Apache Web日志

我们以一个例子来介绍如何使用RegexSerDe来处理标准格式的Apache Web日志,并对其进行统计分析。我的Hive版本是apache-hive-2.1.1-bin 一、在Hive中创建表apache_log [sql] view plain copy CREATE T...

2017-04-28 18:19:09 773 0

转载 用Hive分析nginx日志——1

这里用到的nginx日志是网站的访问日志,比如: [java] view plain copy 180.173.250.74 - - [08/Jan/2015:12:38:08 +0800] "GET /avatar/xxx.png HTT...

2017-04-28 18:02:14 692 0

原创 用Hive分析Nginx日志

一、Nginx日志文件格式 111.37.1.15|100.109.0.149|[28/Apr/2017:14:36:08 +0800]|GET /service/getCity.do?region=河北 HTTP/1.0|200|1292|0.002|-|Dalvik/1.6.0 (Linux;...

2017-04-28 17:04:00 1679 0

转载 CXF框架入门实例

CXF是apache旗下的开源框架,由Celtix + XFire这两门经典的框架合成,是一套非常流行的web service框架。 它提供了JAX-WS的全面支持,并且可以根据实际项目的需要,采用代码优先(Code First)或者 WSDL 优先(WSDL First)来轻松地实现 We...

2017-04-28 13:36:04 5453 0

转载 Spring mvc 和 CXF 搭建SOAP环境

最近用Spring mvc框架搭建web工程,后因为业务需要重新需要在原有web工程基础上,添加Webservice接口。这就涉及到一个问题: 在spring mvc 配置文件中如何添加一些WS框架。在添加之初发现一个问题: 当WS配置文件配置到spring**-servlet 。会遇到一个问题:...

2017-04-28 13:33:58 1465 0

转载 CXF+Spring+Tomcat简明示例

多系统(异构系统)进行交互时,一种良好的方式便是调用Web Service,本示例基于Apache组织的CXF,为了方便起见特将服务端和客户端写在同一个工程下,实际项目中是不可能的,但是客户端却依赖于服务端的Web Service接口,那么可以通过导出jar的方式。 环境: MyEclip...

2017-04-28 11:48:20 728 0

转载 Java中Filter、Listener,拦截器的学习,listener、 filter、servlet 加载顺序及其详解

Filter filter可认为是Servlet的一种“变种”,它主要用于对用户请求进行预处理,也可以对HttpServletResponse进行后处理,是个典型的处理链。它与Servlet的区别在于:它不能直接向用户生成响应。完整的流程是:Filter对用户请求进行预处理,接着将请求交给S...

2017-04-28 10:39:11 1918 0

转载 Java中Filter、Listener,拦截器的学习,listener、 filter、servlet 加载顺序及其详解

Filter filter可认为是Servlet的一种“变种”,它主要用于对用户请求进行预处理,也可以对HttpServletResponse进行后处理,是个典型的处理链。它与Servlet的区别在于:它不能直接向用户生成响应。完整的流程是:Filter对用户请求进行预处理,接着将请求交给S...

2017-04-26 16:58:20 663 0

转载 Listener,Filter,Servlet执行顺序和生命周期

Listener,Filter和servlet都是配置在web.xml文件中。 Listener、Filter、Servlet定义: Listener: 首先定义一个Listener,实现以下接口: HttpSessionListener(用来监控session的创建,销毁等)...

2017-04-26 16:57:45 9187 2

转载 hadoop2.7.3 搭建QA

Q:输入jps显示datenode没有启动 A:到logs里面查看日志发现是namenode 与 datenode的clusterID不一致导致 到/home/abc/hadoop_tmp底下,将name/current下的VERSION中的clusterID复制到data/c...

2017-04-24 18:59:07 542 0

原创 Hadoop安装

Hadoop安装 一、下载hadoop-2.7.3.tar.gz wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz 二、解压安装包:tar -zxvf had...

2017-04-24 14:17:30 570 0

转载 hive2.1.1安装部署

一、Hive 运行模式   与 Hadoop 类似,Hive 也有 3 种运行模式: 1. 内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中,这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显,因为一个内嵌的 Derby 数据库每次只能访问一个数据文件,这也就意味着它不...

2017-04-24 11:07:50 941 0

转载 快速认识 ELK 中的 L:Logstash

简介 Logstash   是一个开源的数据采集引擎。 Logstash 就像是一个管子,左面接数据源接收数据,右面接存储目的地,管子中间有过滤器,对接收到的数据进行过滤,只存储符合要求的数据。 例如 左面可以对接 日志文件 、 Reids 、 Kafka   ……   ...

2017-04-21 19:02:39 616 0

转载 基于MyBatis与Spring MVC开发类知乎的简易问答网站

开发目标 今天我们使用MyBatis和Spring MVC开发一个简单的问答网站,你可以使用Markdown来发布问题和答案。 这篇文章可以教会你以下知识: MyBatis配置和使用最简单的姿势 MyBatis+Spring MVC实现一个简单的Web页面 MyBatis...

2017-04-21 18:56:09 2819 0

转载 基于Spring的设备类型检查

由David发表在天码营 移动互联网时代用户的行为习惯逐渐往移动端迁移,越来越多的人通过手机浏览器来浏览网页。有时,我们需要知道一个用户是通过什么设备来访问我们的页面的,比如对比PC端访问量和移动端访问量。这些信息我们可以通过解析HTTP请求中的头信息来获取,但是这样和核心业务逻辑无关的...

2017-04-21 18:54:10 616 0

转载 基于Spring提供支持不同设备的页面

由David发表在天码营 基于Spring来检测访问Web页面的设备是很简单的,在这个经验中我们讲到过。通常不同的设备访问我们是通过响应式设计来统一处理各种设备的尺寸的。但是如果希望针对不同的设备,显示不同的内容呢? Spring对于这一点同样提供了很好的支持,来看看如何实现。 准...

2017-04-21 18:53:39 412 0

转载 Logback和Logstash的集成

有一段时间没有关注Logstash这个项目了,现在几个项目统一在ElasticSearch下面了。可喜! http://www.elasticsearch.org/overview/elkdownloads/ Logstash是什么 大家在每台服务器上都有Log,规模小的话,一台一台机器...

2017-04-21 18:27:41 1786 0

转载 ELK实时日志分析平台环境部署--完整记录

在日常运维工作中,对于系统和业务日志的处理尤为重要。今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~ 一、概念介绍 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务...

2017-04-21 18:21:54 2215 0

转载 logstash日志分析的配置和使用

logstash是一个数据分析软件,主要目的是分析log日志。整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。       首先将数据传给logstash,它将数据进行过滤和格式化(转成JSO...

2017-04-21 18:20:20 4337 0

转载 spring mvc+ELK从头开始搭建日志平台

spring mvc+ELK从头开始搭建日志平台   最近由于之前协助前公司做了点力所能及的事情,居然收到了一份贵重的端午礼物,是给我女儿的一个乐高积木,整个有7大包物件,我花了接近一天的时间一砖一瓦的组织起来,虽然很辛苦但是能够从过程中体验到乐趣。这次将分享从头搭建分布式日志系统,主要是...

2017-04-21 18:05:21 1633 0

转载 Elasticsearch 数据搜索篇·【入门级干货】

ES即简单又复杂,你可以快速的实现全文检索,又需要了解复杂的REST API。本篇就通过一些简单的搜索命令,帮助你理解ES的相关应用。虽然不能让你理解ES的原理设计,但是可以帮助你理解ES,探寻更多的特性。 其他相关的内容参考:Elasticsearch官方文档翻译 样例数据 ...

2017-04-21 14:00:49 595 0

转载 Logstash学习资料

http://udn.yyuap.com/doc/logstash-best-practice-cn/filter/geoip.html

2017-04-21 13:59:36 362 0

转载 Logstash使用grok过滤nginx日志(二)

在生产环境中,nginx日志格式往往使用的是自定义的格式,我们需要把logstash中的message结构化后再存储,方便kibana的搜索和统计,因此需要对message进行解析。   本文采用grok过滤器,使用match正则表达式解析,根据自己的log_format定制。 1、n...

2017-04-21 13:58:13 3260 0

转载 logstash通过kafka传输nginx日志(三)

单个进程 logstash 可以实现对数据的读取、解析和输出处理。但是在生产环境中,从每台应用服务器运行 logstash 进程并将数据直接发送到 Elasticsearch 里,显然不是第一选择:第一,过多的客户端连接对 Elasticsearch 是一种额外的压力;第二,网络抖动会影响到 lo...

2017-04-21 13:57:23 2186 0

转载 Logstash利用GeoIP库显示地图以及通过useragent显示浏览器(四)

我们通过Logstash收集的Nginx Access log中已经包含了客户端IP的数据(remote_addr),但是只有这个IP还不够,要在Kibana的显示请求来源的地理位置还需要借助GeoIP数据库来实现。GeoIP 是最常见的免费 IP 地址归类查询库,同时也有收费版可以采购。GeoI...

2017-04-21 13:56:25 2182 0

转载 ELK搭建日志联合分析系统

上一篇ELK安装简单说了下安装ELK,这一篇就来具体说下怎么让者三个联动起来。  其工作流程如下图所示,(从Kibana官网拿的流程图)  简单来讲,其具体流程是logstash agent 监控并过滤日志,将过滤后的日志内容发给Redis(这里的redis只处理队列不做存储),log...

2017-04-21 13:28:36 519 0

转载 Kibana的图形化——Tile Map

简介   当我们查看访问网站的流量的来源时,往往通过awk+sed或其他工具分析日志文件,有没有一种方式可以实时查看并且在地图上直观的表现出来?当然,我们的Kibana就可以做到,下面我们来看看如何配置吧。 配置 本文是在http://http://blog.csdn.net/yanggd1...

2017-04-21 13:19:36 1193 0

转载 Logstash利用GeoIP库显示地图以及通过useragent显示浏览器(四)

我们通过Logstash收集的Nginx Access log中已经包含了客户端IP的数据(remote_addr),但是只有这个IP还不够,要在Kibana的显示请求来源的地理位置还需要借助GeoIP数据库来实现。GeoIP 是最常见的免费 IP 地址归类查询库,同时也有收费版可以采购。GeoI...

2017-04-20 18:12:17 518 0

转载 Logstash过滤器--Geoip

Geoip过滤器可以给IP地址添加地理位置信息,包括归属地、经纬度等。Geoip参考的数据库是Maxmind,同时它也可以让用户设置自己的查询数据库。 Geoip的基本配置: geoip { source => ... }123123 配置参数: 1. add_f...

2017-04-20 18:10:36 1527 0

转载 安装GeoIP数据库

1.安装GeoIP数据库      cd /usr/local/logstash/etc   curl -O "http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz"   gunzip...

2017-04-20 18:09:52 2432 0

转载 logstash配置文件详解

背景 业务目的是能够分析nginx和apache每天产生的日志,对url、ip、rest接口等信息进行监控,并将数据发送到elasticsearch服务。 config 输入 从日志文件中获取信息 file { path => "/home/kee...

2017-04-20 18:08:37 831 0

转载 ELK日志处理之使用logstash收集log4J日志

介绍一下如何从Java工程中导出log4J日志到Logstash。 一、log4j基础 不能免俗的官方介绍: Log4j 是一个使用 Java 语言编写的,可靠、快速、灵活的日志框架(API),使用 Apache Software License 授权。它被移植到 C、C++、C#、Pe...

2017-04-20 11:47:24 5791 4

转载 logstash搭建日志追踪系统

前言 开始博客之前,首先说下10月份没写博客的原因 = =。 10月份赶上国庆,回了趟老家休息了下,回来后自己工作内容发生了点改变,开始搞一些小架构的东西以及研究一些新鲜东西,当时我听到这个消息真的是开心得不得了, 0 0。 然后就是把搜索模块交给我搞了,哇咔咔,以前学过lucene和sol...

2017-04-20 11:21:31 2370 0

转载 ELK结合logback搭建日志中心

ELK简介ELKStack即Elasticsearch + Logstash + Kibana。日志监控和分析在保障业务稳定运行时,起到了很重要的作用。比如对nginx日志的监控分析,nginx是有日志文件的,它的每个请求的状态等都有日志文件进行记录,所以可以通过读取日志文件来分析;redis的l...

2017-04-20 10:31:54 2537 0

转载 使用logback轻松管理日志

最近才开始在项目中使用logback,有一种相见恨晚的感觉,因为它很轻易的满足了我的几个需求:         1. 配置简单,易于上手         2. 一个日志文件中只能某一个级别的日志         3. 一个类中可以指定多个不同的日志,并且生成的每个日志文件...

2017-04-20 10:24:00 1422 0

转载 java+logstash

写在前面 在前面一篇文章中,我们介绍了如何在linux上搭建logstash+kafka的环境(logstash+kafka),在这篇中将介绍如何连通java日志文件和logstash。 日志分类 一般在java开发过程中最常用到的两种日志工具: log4j : Apach...

2017-04-20 10:16:56 4306 0

转载 Spring Boot 集成 log4j2

1、pom.xml加入log4j2,并同时把spring boot默认的logging去掉 [html] view plain copy dependencies>       dependency>           groupI...

2017-04-19 18:27:32 2656 0

转载 随着spring boot 1.5版本的发布,在spring项目中与kafka集成更为简便。

随着spring boot 1.5版本的发布,在spring项目中与kafka集成更为简便。 引入依赖 dependency> groupId>org.springframework.kafkagroupId> artifactId>spring-k...

2017-04-19 16:13:42 8727 5

转载 springboot 1.5.2 集成kafka 简单例子

Springboot1.5.2以后和Kafka进行无缝集成 添加依赖 compile("org.springframework.kafka:spring-kafka:1.1.2.RELEASE") 添加application.propertie...

2017-04-19 15:36:06 2962 0

提示
确定要删除当前文章?
取消 删除