AndyLizh的专栏

给人生一个梦,给梦一条路,给路一个方向!

如何用Hive“傻瓜式”搭建数据仓库—Hive安装部署

一、前言: 数据仓库主要用来用来存储公司或者企业的历史数据,即日积月累的数据。 1、数据库与数据仓库区别: 关系型数据库是基于事务性的,数据仓库是根据主题构建的。 2、使用示例: l 用户使用天然气的大数据分析 l 电影票房分析收视率等 l 百度搜索关键词分析热词 二、Hive简介...

2017-04-28 18:23:42

阅读数 4732

评论数 0

Hive 使用RegexSerDe来处理标准格式Apache Web日志

我们以一个例子来介绍如何使用RegexSerDe来处理标准格式的Apache Web日志,并对其进行统计分析。我的Hive版本是apache-hive-2.1.1-bin 一、在Hive中创建表apache_log [sql] view plain copy CREATE T...

2017-04-28 18:19:09

阅读数 739

评论数 0

用Hive分析nginx日志——1

这里用到的nginx日志是网站的访问日志,比如: [java] view plain copy 180.173.250.74 - - [08/Jan/2015:12:38:08 +0800] "GET /avatar/xxx.png HTT...

2017-04-28 18:02:14

阅读数 629

评论数 0

用Hive分析Nginx日志

一、Nginx日志文件格式 111.37.1.15|100.109.0.149|[28/Apr/2017:14:36:08 +0800]|GET /service/getCity.do?region=河北 HTTP/1.0|200|1292|0.002|-|Dalvik/1.6.0 (Linux;...

2017-04-28 17:04:00

阅读数 1604

评论数 0

CXF框架入门实例

CXF是apache旗下的开源框架,由Celtix + XFire这两门经典的框架合成,是一套非常流行的web service框架。 它提供了JAX-WS的全面支持,并且可以根据实际项目的需要,采用代码优先(Code First)或者 WSDL 优先(WSDL First)来轻松地实现 We...

2017-04-28 13:36:04

阅读数 5067

评论数 0

Spring mvc 和 CXF 搭建SOAP环境

最近用Spring mvc框架搭建web工程,后因为业务需要重新需要在原有web工程基础上,添加Webservice接口。这就涉及到一个问题: 在spring mvc 配置文件中如何添加一些WS框架。在添加之初发现一个问题: 当WS配置文件配置到spring**-servlet 。会遇到一个问题:...

2017-04-28 13:33:58

阅读数 1316

评论数 0

CXF+Spring+Tomcat简明示例

多系统(异构系统)进行交互时,一种良好的方式便是调用Web Service,本示例基于Apache组织的CXF,为了方便起见特将服务端和客户端写在同一个工程下,实际项目中是不可能的,但是客户端却依赖于服务端的Web Service接口,那么可以通过导出jar的方式。 环境: MyEclip...

2017-04-28 11:48:20

阅读数 656

评论数 0

Java中Filter、Listener,拦截器的学习,listener、 filter、servlet 加载顺序及其详解

Filter filter可认为是Servlet的一种“变种”,它主要用于对用户请求进行预处理,也可以对HttpServletResponse进行后处理,是个典型的处理链。它与Servlet的区别在于:它不能直接向用户生成响应。完整的流程是:Filter对用户请求进行预处理,接着将请求交给S...

2017-04-28 10:39:11

阅读数 1765

评论数 0

Java中Filter、Listener,拦截器的学习,listener、 filter、servlet 加载顺序及其详解

Filter filter可认为是Servlet的一种“变种”,它主要用于对用户请求进行预处理,也可以对HttpServletResponse进行后处理,是个典型的处理链。它与Servlet的区别在于:它不能直接向用户生成响应。完整的流程是:Filter对用户请求进行预处理,接着将请求交给S...

2017-04-26 16:58:20

阅读数 627

评论数 0

Listener,Filter,Servlet执行顺序和生命周期

Listener,Filter和servlet都是配置在web.xml文件中。 Listener、Filter、Servlet定义: Listener: 首先定义一个Listener,实现以下接口: HttpSessionListener(用来监控session的创建,销毁等)...

2017-04-26 16:57:45

阅读数 6555

评论数 1

hadoop2.7.3 搭建QA

Q:输入jps显示datenode没有启动 A:到logs里面查看日志发现是namenode 与 datenode的clusterID不一致导致 到/home/abc/hadoop_tmp底下,将name/current下的VERSION中的clusterID复制到data/c...

2017-04-24 18:59:07

阅读数 519

评论数 0

Hadoop安装

Hadoop安装 一、下载hadoop-2.7.3.tar.gz wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz 二、解压安装包:tar -zxvf had...

2017-04-24 14:17:30

阅读数 532

评论数 0

hive2.1.1安装部署

一、Hive 运行模式   与 Hadoop 类似,Hive 也有 3 种运行模式: 1. 内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中,这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显,因为一个内嵌的 Derby 数据库每次只能访问一个数据文件,这也就意味着它不...

2017-04-24 11:07:50

阅读数 919

评论数 0

快速认识 ELK 中的 L:Logstash

简介 Logstash   是一个开源的数据采集引擎。 Logstash 就像是一个管子,左面接数据源接收数据,右面接存储目的地,管子中间有过滤器,对接收到的数据进行过滤,只存储符合要求的数据。 例如 左面可以对接 日志文件 、 Reids 、 Kafka   ……   ...

2017-04-21 19:02:39

阅读数 599

评论数 0

基于MyBatis与Spring MVC开发类知乎的简易问答网站

开发目标 今天我们使用MyBatis和Spring MVC开发一个简单的问答网站,你可以使用Markdown来发布问题和答案。 这篇文章可以教会你以下知识: MyBatis配置和使用最简单的姿势 MyBatis+Spring MVC实现一个简单的Web页面 MyBatis...

2017-04-21 18:56:09

阅读数 2692

评论数 0

基于Spring的设备类型检查

由David发表在天码营 移动互联网时代用户的行为习惯逐渐往移动端迁移,越来越多的人通过手机浏览器来浏览网页。有时,我们需要知道一个用户是通过什么设备来访问我们的页面的,比如对比PC端访问量和移动端访问量。这些信息我们可以通过解析HTTP请求中的头信息来获取,但是这样和核心业务逻辑无关的...

2017-04-21 18:54:10

阅读数 516

评论数 0

基于Spring提供支持不同设备的页面

由David发表在天码营 基于Spring来检测访问Web页面的设备是很简单的,在这个经验中我们讲到过。通常不同的设备访问我们是通过响应式设计来统一处理各种设备的尺寸的。但是如果希望针对不同的设备,显示不同的内容呢? Spring对于这一点同样提供了很好的支持,来看看如何实现。 准...

2017-04-21 18:53:39

阅读数 322

评论数 0

Logback和Logstash的集成

有一段时间没有关注Logstash这个项目了,现在几个项目统一在ElasticSearch下面了。可喜! http://www.elasticsearch.org/overview/elkdownloads/ Logstash是什么 大家在每台服务器上都有Log,规模小的话,一台一台机器...

2017-04-21 18:27:41

阅读数 1640

评论数 0

ELK实时日志分析平台环境部署--完整记录

在日常运维工作中,对于系统和业务日志的处理尤为重要。今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~ 一、概念介绍 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务...

2017-04-21 18:21:54

阅读数 2150

评论数 0

logstash日志分析的配置和使用

logstash是一个数据分析软件,主要目的是分析log日志。整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。       首先将数据传给logstash,它将数据进行过滤和格式化(转成JSO...

2017-04-21 18:20:20

阅读数 4022

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭