2017年04月_AndyLizh

原创如何用Hive“傻瓜式”搭建数据仓库—Hive安装部署

一、前言：数据仓库主要用来用来存储公司或者企业的历史数据，即日积月累的数据。1、数据库与数据仓库区别：关系型数据库是基于事务性的，数据仓库是根据主题构建的。2、使用示例：l 用户使用天然气的大数据分析l 电影票房分析收视率等l 百度搜索关键词分析热词二、Hive简介：可爱的小蜜蜂1、Hive是建立在Hadoop之上的数据仓库基础架构工具，可以将结构化的数据文件映

2017-04-28 18:23:42 6781

转载 Hive 使用RegexSerDe来处理标准格式Apache Web日志

我们以一个例子来介绍如何使用RegexSerDe来处理标准格式的Apache Web日志，并对其进行统计分析。我的Hive版本是apache-hive-2.1.1-bin一、在Hive中创建表apache_log[sql] view plain copyCREATE TABLE apache_log( host S

2017-04-28 18:19:09 897

转载用Hive分析nginx日志——1

这里用到的nginx日志是网站的访问日志，比如：[java] view plain copy180.173.250.74 - - [08/Jan/2015:12:38:08 +0800] "GET /avatar/xxx.png HTTP/1.1" 200 968 "http://www.iteblog.com/archives/994"

2017-04-28 18:02:14 857

原创用Hive分析Nginx日志

一、Nginx日志文件格式111.37.1.15|100.109.0.149|[28/Apr/2017:14:36:08 +0800]|GET /service/getCity.do?region=河北 HTTP/1.0|200|1292|0.002|-|Dalvik/1.6.0 (Linux; U; Android 4.4.2; Build/KOT49H)|MISS|127.0.0.1:8

2017-04-28 17:04:00 1905

转载 CXF框架入门实例

CXF是apache旗下的开源框架，由Celtix + XFire这两门经典的框架合成，是一套非常流行的web service框架。它提供了JAX-WS的全面支持，并且可以根据实际项目的需要，采用代码优先（Code First）或者 WSDL 优先（WSDL First）来轻松地实现 Web Services 的发布和使用，同时它能与spring进行完美结合。在apache cxf

2017-04-28 13:36:04 5944

转载 Spring mvc 和 CXF 搭建SOAP环境

最近用Spring mvc框架搭建web工程，后因为业务需要重新需要在原有web工程基础上，添加Webservice接口。这就涉及到一个问题: 在spring mvc 配置文件中如何添加一些WS框架。在添加之初发现一个问题: 当WS配置文件配置到spring**-servlet 。会遇到一个问题：能访问controller请求时候，WS会提示No Service Availble 显示。或者Co

2017-04-28 13:33:58 1764

转载 CXF+Spring+Tomcat简明示例

多系统（异构系统）进行交互时，一种良好的方式便是调用Web Service，本示例基于Apache组织的CXF，为了方便起见特将服务端和客户端写在同一个工程下，实际项目中是不可能的，但是客户端却依赖于服务端的Web Service接口，那么可以通过导出jar的方式。环境：MyEclipse10JDK6Tomcat7CXF2.5Spring3示例项目结构图：

2017-04-28 11:48:20 858

转载 Java中Filter、Listener，拦截器的学习，listener、 filter、servlet 加载顺序及其详解

Filterfilter可认为是Servlet的一种“变种”，它主要用于对用户请求进行预处理，也可以对HttpServletResponse进行后处理，是个典型的处理链。它与Servlet的区别在于：它不能直接向用户生成响应。完整的流程是：Filter对用户请求进行预处理，接着将请求交给Servlet进行处理并生成响应，最后Filter再对服务器响应进行后处理。Filter有如下几个用

2017-04-28 10:39:11 2224

转载 Java中Filter、Listener，拦截器的学习，listener、 filter、servlet 加载顺序及其详解

Filterfilter可认为是Servlet的一种“变种”，它主要用于对用户请求进行预处理，也可以对HttpServletResponse进行后处理，是个典型的处理链。它与Servlet的区别在于：它不能直接向用户生成响应。完整的流程是：Filter对用户请求进行预处理，接着将请求交给Servlet进行处理并生成响应，最后Filter再对服务器响应进行后处理。Filter有如下几个用

2017-04-26 16:58:20 739

转载 Listener,Filter,Servlet执行顺序和生命周期

Listener,Filter和servlet都是配置在web.xml文件中。Listener、Filter、Servlet定义：Listener:首先定义一个Listener，实现以下接口：HttpSessionListener(用来监控session的创建，销毁等)ServletRequestListener(用于监控servlet上下文request)

2017-04-26 16:57:45 15285 4

转载 hadoop2.7.3 搭建QA

Q：输入jps显示datenode没有启动A：到logs里面查看日志发现是namenode 与 datenode的clusterID不一致导致到/home/abc/hadoop_tmp底下，将name/current下的VERSION中的clusterID复制到data/current下的VERSION中，覆盖掉原来的clusterID让两个保持一致然后重启，启动后

2017-04-24 18:59:07 629

原创 Hadoop安装

Hadoop安装一、下载hadoop-2.7.3.tar.gzwget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz二、解压安装包：tar -zxvf hadoop-2.7.3.tar.gz 到/home/lizh/devtool/三、配置

2017-04-24 14:17:30 704

转载 hive2.1.1安装部署

一、Hive 运行模式与 Hadoop 类似，Hive 也有 3 种运行模式：1. 内嵌模式将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。2. 本地模式这种模式是将元数据保存在本地独立的数据库中（一

2017-04-24 11:07:50 1137

转载快速认识 ELK 中的 L：Logstash

简介Logstash 是一个开源的数据采集引擎。Logstash 就像是一个管子，左面接数据源接收数据，右面接存储目的地，管子中间有过滤器，对接收到的数据进行过滤，只存储符合要求的数据。例如左面可以对接日志文件、 Reids 、 Kafka …… 右面可以对接 Elasticsearch 、 Kafka 、 MongoDB ……

2017-04-21 19:02:39 775

转载基于MyBatis与Spring MVC开发类知乎的简易问答网站

开发目标今天我们使用MyBatis和Spring MVC开发一个简单的问答网站，你可以使用Markdown来发布问题和答案。这篇文章可以教会你以下知识：MyBatis配置和使用最简单的姿势MyBatis+Spring MVC实现一个简单的Web页面MyBatis的核心类是干嘛用的（SqlSessionFactoryBuilder、SqlSessionFactor

2017-04-21 18:56:09 3142

转载基于Spring的设备类型检查

由David发表在天码营移动互联网时代用户的行为习惯逐渐往移动端迁移，越来越多的人通过手机浏览器来浏览网页。有时，我们需要知道一个用户是通过什么设备来访问我们的页面的，比如对比PC端访问量和移动端访问量。这些信息我们可以通过解析HTTP请求中的头信息来获取，但是这样和核心业务逻辑无关的代码放到Controller中实在不够优雅。没关系，Spring已经把这种脏活累活给干了！来看看基于S

2017-04-21 18:54:10 855

转载基于Spring提供支持不同设备的页面

由David发表在天码营基于Spring来检测访问Web页面的设备是很简单的，在这个经验中我们讲到过。通常不同的设备访问我们是通过响应式设计来统一处理各种设备的尺寸的。但是如果希望针对不同的设备，显示不同的内容呢？ Spring对于这一点同样提供了很好的支持，来看看如何实现。准备工作我们通过一个简单的例子来演示，基于Spring MVC来实现一个简单的HTTP GET请

2017-04-21 18:53:39 523

转载 Logback和Logstash的集成

有一段时间没有关注Logstash这个项目了，现在几个项目统一在ElasticSearch下面了。可喜！http://www.elasticsearch.org/overview/elkdownloads/Logstash是什么大家在每台服务器上都有Log，规模小的话，一台一台机器登进去看当然没问题。但是当你有上十台以上，管理成本开始增加了，Logstash就是为了解决这个问题。

2017-04-21 18:27:41 1983

转载 ELK实时日志分析平台环境部署--完整记录

在日常运维工作中，对于系统和业务日志的处理尤为重要。今天，在这里分享一下自己部署的ELK（+Redis）-开源实时日志分析平台的记录过程（仅依据本人的实际操作为例说明，如有误述，敬请指出）~一、概念介绍日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而

2017-04-21 18:21:54 2417

转载 logstash日志分析的配置和使用

logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索引，kibana提供前端的页面再进行搜

2017-04-21 18:20:20 4769

转载 spring mvc+ELK从头开始搭建日志平台

spring mvc+ELK从头开始搭建日志平台最近由于之前协助前公司做了点力所能及的事情，居然收到了一份贵重的端午礼物，是给我女儿的一个乐高积木，整个有7大包物件，我花了接近一天的时间一砖一瓦的组织起来，虽然很辛苦但是能够从过程中体验到乐趣。这次将分享从头搭建分布式日志系统，主要是在spring mvc上结合ELK套件实现（之前有些工作由于分工不同由不同的同事来完成，我只是在已经配

2017-04-21 18:05:21 2114

转载 Elasticsearch 数据搜索篇·【入门级干货】

ES即简单又复杂，你可以快速的实现全文检索，又需要了解复杂的REST API。本篇就通过一些简单的搜索命令，帮助你理解ES的相关应用。虽然不能让你理解ES的原理设计，但是可以帮助你理解ES，探寻更多的特性。其他相关的内容参考：Elasticsearch官方文档翻译样例数据为了更好的使用和理解ES，没有点样例数据还是不好模拟的。这里提供了一份官网上的数据，accounts

2017-04-21 14:00:49 711

转载 Logstash学习资料

http://udn.yyuap.com/doc/logstash-best-practice-cn/filter/geoip.html

2017-04-21 13:59:36 485

转载 Logstash使用grok过滤nginx日志（二）

在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。　　本文采用grok过滤器，使用match正则表达式解析，根据自己的log_format定制。1、nginx日志格式　　log_format配置如下：log_format main

2017-04-21 13:58:13 3622

转载 logstash通过kafka传输nginx日志（三）

单个进程 logstash 可以实现对数据的读取、解析和输出处理。但是在生产环境中，从每台应用服务器运行 logstash 进程并将数据直接发送到 Elasticsearch 里，显然不是第一选择：第一，过多的客户端连接对 Elasticsearch 是一种额外的压力；第二，网络抖动会影响到 logstash 进程，进而影响生产应用；第三，运维人员未必愿意在生产服务器上部署 Java，或者让 lo

2017-04-21 13:57:23 2350

转载 Logstash利用GeoIP库显示地图以及通过useragent显示浏览器（四）

我们通过Logstash收集的Nginx Access log中已经包含了客户端IP的数据（remote_addr），但是只有这个IP还不够，要在Kibana的显示请求来源的地理位置还需要借助GeoIP数据库来实现。GeoIP 是最常见的免费 IP 地址归类查询库，同时也有收费版可以采购。GeoIP 库可以根据 IP 地址提供对应的地域信息，包括国别，省市，经纬度等，对于可视化地图和区域统计非常有

2017-04-21 13:56:25 2387

转载 ELK搭建日志联合分析系统

上一篇ELK安装简单说了下安装ELK，这一篇就来具体说下怎么让者三个联动起来。其工作流程如下图所示，（从Kibana官网拿的流程图）简单来讲，其具体流程是logstash agent 监控并过滤日志，将过滤后的日志内容发给Redis(这里的redis只处理队列不做存储)，logstash index将日志收集在一起交给elasticSearch，并通过Kibana进行展示。

2017-04-21 13:28:36 702

转载 Kibana的图形化——Tile Map

简介当我们查看访问网站的流量的来源时，往往通过awk+sed或其他工具分析日志文件，有没有一种方式可以实时查看并且在地图上直观的表现出来？当然，我们的Kibana就可以做到，下面我们来看看如何配置吧。配置本文是在http://http://blog.csdn.net/yanggd1987/article/details/50460246博文基础上进行配置，所有的配置文件

2017-04-21 13:19:36 1447

转载 Logstash利用GeoIP库显示地图以及通过useragent显示浏览器（四）

我们通过Logstash收集的Nginx Access log中已经包含了客户端IP的数据（remote_addr），但是只有这个IP还不够，要在Kibana的显示请求来源的地理位置还需要借助GeoIP数据库来实现。GeoIP 是最常见的免费 IP 地址归类查询库，同时也有收费版可以采购。GeoIP 库可以根据 IP 地址提供对应的地域信息，包括国别，省市，经纬度等，对于可视化地图和区域统计非常有

2017-04-20 18:12:17 740

转载 Logstash过滤器--Geoip

Geoip过滤器可以给IP地址添加地理位置信息，包括归属地、经纬度等。Geoip参考的数据库是Maxmind，同时它也可以让用户设置自己的查询数据库。Geoip的基本配置：geoip { source => ...}123123配置参数：1. add_fieldfilter { geoip { add_field => { "foo_%{som

2017-04-20 18:10:36 1807

转载安装GeoIP数据库

1.安装GeoIP数据库 cd /usr/local/logstash/etc curl -O "http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz" gunzip GeoLiteCity.dat.gz 1 2 3 2.配置logstash使用GeoIP

2017-04-20 18:09:52 3250

转载 logstash配置文件详解

背景业务目的是能够分析nginx和apache每天产生的日志，对url、ip、rest接口等信息进行监控，并将数据发送到elasticsearch服务。config输入从日志文件中获取信息file { path => "/home/keepgostudio/demo/logs/test.log" start_position => "beginn

2017-04-20 18:08:37 1183

转载 ELK日志处理之使用logstash收集log4J日志

介绍一下如何从Java工程中导出log4J日志到Logstash。一、log4j基础不能免俗的官方介绍:Log4j 是一个使用 Java 语言编写的，可靠、快速、灵活的日志框架（API），使用 Apache Software License 授权。它被移植到 C、C++、C#、Perl、Python、Ruby 和 Eiffel 语言中。Log4j 是高度可配置的，在运行期使

2017-04-20 11:47:24 6384 4

转载 logstash搭建日志追踪系统

前言开始博客之前，首先说下10月份没写博客的原因 = =。 10月份赶上国庆，回了趟老家休息了下，回来后自己工作内容发生了点改变，开始搞一些小架构的东西以及研究一些新鲜东西，当时我听到这个消息真的是开心得不得了， 0 0。然后就是把搜索模块交给我搞了，哇咔咔，以前学过lucene和solr，所以不陌生，花了1个多星期将搜索模块的原型搭出来了，果然不负leader对我的信任，之后就是搞日志

2017-04-20 11:21:31 3212

转载 ELK结合logback搭建日志中心

ELK简介ELKStack即Elasticsearch + Logstash + Kibana。日志监控和分析在保障业务稳定运行时，起到了很重要的作用。比如对nginx日志的监控分析，nginx是有日志文件的，它的每个请求的状态等都有日志文件进行记录，所以可以通过读取日志文件来分析；redis的list结构正好可以作为队列使用，用来存储logstash传输的日志数据。然后elasticsearch

2017-04-20 10:31:54 2885

转载使用logback轻松管理日志

最近才开始在项目中使用logback，有一种相见恨晚的感觉，因为它很轻易的满足了我的几个需求： 1. 配置简单，易于上手 2. 一个日志文件中只能某一个级别的日志 3. 一个类中可以指定多个不同的日志，并且生成的每个日志文件中只包含其本身的内容 4. 可以关闭或者打开某几个包的日志，并且可以设置不同的包

2017-04-20 10:24:00 1791

转载 java+logstash

写在前面在前面一篇文章中，我们介绍了如何在linux上搭建logstash+kafka的环境（logstash+kafka），在这篇中将介绍如何连通java日志文件和logstash。日志分类一般在java开发过程中最常用到的两种日志工具：log4j : Apache的开源项目logback : 可以说是log4j的改良版，和上者同一个作者下面我们分别介绍这

2017-04-20 10:16:56 6027

转载 Spring Boot 集成 log4j2

1、pom.xml加入log4j2，并同时把spring boot默认的logging去掉[html] view plain copydependencies> dependency> groupId>org.springframework.bootgroupId> artifactId>

2017-04-19 18:27:32 2775

转载随着spring boot 1.5版本的发布，在spring项目中与kafka集成更为简便。

随着spring boot 1.5版本的发布，在spring项目中与kafka集成更为简便。引入依赖dependency> groupId>org.springframework.kafkagroupId> artifactId>spring-kafkaartifactId>dependency>具体spring-kafka的版本由spring boot的当前

2017-04-19 16:13:42 9205 5

转载 springboot 1.5.2 集成kafka 简单例子

Springboot1.5.2以后和Kafka进行无缝集成添加依赖compile("org.springframework.kafka:spring-kafka:1.1.2.RELEASE")添加application.properties#kafka# 指定kafka 代理地址，可以多个spring.kafka.bootstrap-serv

2017-04-19 15:36:06 3253

UDP服务端客户端

Aidl测试例子

TCPdump工具

Android系统与android在机顶盒中的应用

安卓开发Wifi无线调试工具

空空如也