自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(21)
  • 收藏
  • 关注

原创 spring security 11种过滤器介绍

[b][color=red]1.HttpSessionContextIntegrationFilter[/color][/b] 位于过滤器顶端,第一个起作用的过滤器。 用途一,在执行其他过滤器之前,率先判断用户的session中是否已经存在一个SecurityContext了。如果存在,就把SecurityContext拿出来,放到SecurityContextHolder中,供S...

2015-06-16 15:26:26 123

原创 SpringSecurity使用记录(五)-- 配置

一直通过默认配置进行设置:namespace(是security 3.0,网上也看到一些兄弟描述的是3.0,但是总是不符合我这里的namespace配置):按照默认配置的http(这是用来根据namespace设置的基本的security过滤器chain):auto-config=true时,就相当于 也就是使用了默认的过滤器。...

2015-06-16 10:05:13 423

原创 spring security 权限控制表达式

@PreAuthorize:该注解用来确定一个方法是否应该被执行。该注解后面跟着的是一个表达式,如果表达式的值为真,则该方法会被执行。 如 @PreAuthorize("hasRole('ROLE_USER')")就说明只有当前用户具有角色 ROLE_USER的时候才会执行。@PostAuthorize:该注解用来在方法执行完之后进行访问控制检查。@PostFilter:该注解用来对...

2015-06-16 09:49:48 261

原创 spring-security use-expressions详解

使用 Spring 表达式语言配置访问控制基于角色标准投票机制的标准实现是使用 RoleVoter ,还有一种替代方法可用来定义语法复杂的投票规则即使用 Spring 表达式语言( SpEL )。要实现这一功能的直接方式是在 配置元素上添加 use-expressions 属性:添加后将要修改用来进行拦截器规则声明的 access 属性,改为 SpEL 表达式。 SpEL 允许使用特...

2015-06-16 09:49:29 250

原创 spring security配置

auto-config = true 则使用from-login. 如果不使用该属性 则默认为http-basic(没有session).相当于: lowercase-comparisons:表示URL比较前先转为小写。access-denied-page:访问拒绝时转向的页面。 access-decision-m...

2015-06-16 09:48:29 175

原创 Flume采集处理日志文件

[b]1.source[/b]flume提供多种source供用户进行选择,尽可能多的满足大部分日志采集的需求,常用的source的类型包括avro、exec、netcat、spooling-directory和syslog等。具体的使用范围和配置方法详见source.[b]2.channel[/b]flume中的channel不如source和sink那么重要,但却是不可忽视的组...

2015-06-07 21:51:38 1030

原创 flume NG 配置及案例

[b]Flume 的一些核心概念:[/b][table]|组件|功能|Agent|使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks。|Client|生产数据,运行在一个独立的线程。|Source|从Client收集数据,传递给Channel。|Sink|从Channel收集数据,运行在一个独立线程。|C...

2015-06-07 16:20:44 154

原创 hadoop2.X安装遇到的问题

1.zookeeper无法启动错误。 可能是由于没有关闭防火墙2.格式化ZK时 hdfs zkfc –formatZK 无法格式化原因 复制的命令无法正常执行,手敲的就可以3.nodemanager无法启动 修改 /etc/hosts 文件 把里面的 127.0.0.1 hadoop ...

2015-04-01 22:26:38 91

原创 hadoop2.x常用端口及定义方法

Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper:[table]|组件| 节点| 默认端口| 配置| 用途说明||H...

2015-03-29 12:40:44 139

原创 基于ZooKeeper的配置信息同步方案

整体的设计方案如图:[img]http://javachen-rs.qiniudn.com/images/2013/zookeeper-01.jpg[/img]整个配置信息存储方案由三部分组成:ZooKeeper服务器集群、配置管理程序、分布式应用程序。ZooKeeper服务器集群存储配置信息,在服务器上创建一个保存数据的节点(创建节点操作);配置管理程序提供一个配置管理的UI...

2015-03-12 00:39:06 217

原创 shell 特殊命令

awk命令作用: 在输出信息中提取相关内容awk -F 域分隔符‘命令’示例:1.检测系统中UID为0的用户awk -F: '$3==0 {print $1}' /etc/passwd2.检测系统中密码为空的用户awk -F: 'length($2)==0{print $1}' /etc/shadowshift命令对于某个命令行参数,其参数个数可以不...

2015-03-12 00:24:18 129

原创 shell的变量测试语句

test str1=str2 测试是否相等test str1!=str2 是否不相等test str1 是否不为空test -n str1 是否不为空test -z str1 是否为空文件测试:test -d file 是否目录test -f file 是否常规文件test -x file 是否可执行test -r file 是否可读test ...

2015-03-12 00:22:13 139

原创 hbase shell命令的使用

再使用hbase 命令之前先检查一下hbase是否运行正常[code="java"]hadoop@Master:/usr/hbase/bin$ jps2640 HMaster27170 NameNode27533 SecondaryNameNode3038 Jps27795 TaskTracker27351 DataNode2574 HQuorumPeer276...

2014-06-09 19:13:30 117

原创 HBase的安装

本篇介绍两种HBase的安装方式:本地安装方式和伪分布式安装方式。安装的前提条件是已经成功安装了hadoop,而且hadoop的版本要和hbase的版本相匹配。我将要安装的hbase是hbase-0.94.11版本,需要的hadoop是hadoop-1.2.1版本。hbase下载地址:http://mirror.bit.edu.cn/apache/hbase/hbase-0...

2014-06-09 17:28:58 100

原创 Hadoop中Mapper类的setup()函数在什么地方调用

经过跟踪hadoop源码发现,Mapper类的setup()函数在Mapper类的run()函数中被调用。向hadoop提交job后,hadoop会在MapTask的runNewMapper()或者runOldMapper()函数中使用反馈机制实例化具体的Mapper子类,然后调用这个对象的run()函数,其中setup()函数就在这个函数的开始被调用,因为hadoop会向setup()函...

2014-06-05 21:27:29 152

原创 Nutch2 WebPage写入数据库的过程分析

版本: Nutch 2.2.1本文通过InjectJob来追踪webpage的定义、创建、传递、序列化、写入数据库的整个过程。从源码中摘录了重要的代码行,并标明其所在文件名、行号。1. 定义 schemaschema直接写在源代码里面:[code="java"]//file: [/code]org/apache/nutch/storage/WebPage.java /...

2014-06-05 21:25:37 85

原创 使用avro生成java文件

首先下载avro-tools-1.7.6.jar包创建user.avsc文件和需要生成的文件夹java[code="java"]{"namespace": "example.avro", "type": "record", "name": "User", "fields": [ {"name&quot

2014-06-04 21:16:31 459

原创 Avro Datafile

转载请写明来源地址:[url]http://blog.csdn.net/lastsweetop/article/details/9817999[/url]所有源码在github上[url]https://github.com/lastsweetop/styhadoop[/url]datafile组成datafile的组成如下图:datafile分为文件头是数据块,如果看图还是不...

2014-06-04 08:37:55 317

原创 Avro序列化与反序列化

转载请写明来源地址:[url]http://blog.csdn.net/lastsweetop/article/details/9773233[/url]所有源码在github上[url]https://github.com/lastsweetop/styhadoop[/url]使用avro在很多情况下是对原有系统的改造,框架格式都已经定义好了,我们只能直接用avro对原有数据进行整合...

2014-06-04 08:23:26 347

原创 Avro Schemas

转载请写明来源地址:[url]http://blog.csdn.net/lastsweetop/article/details/9664233[/url]所有源码在github上[url]https://github.com/lastsweetop/styhadoop[/url]Schema 定义Schema是JSON格式的,包括下面三种形式:1.JSON string类型,主要是...

2014-06-04 08:16:41 117

原创 Avro简介

转载请写明来源地址:[url]http://blog.csdn.net/lastsweetop/article/details/9448961[/url]所有源码在github上[url]https://github.com/lastsweetop/styhadoop[/url]Avro是个支持多语言的数据序列化框架,支持c,c++,c#,python,java,php,rub...

2014-06-04 08:14:30 168

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除