- 博客(21)
- 收藏
- 关注
RSS订阅原创 spring security 11种过滤器介绍
[b][color=red]1.HttpSessionContextIntegrationFilter[/color][/b] 位于过滤器顶端，第一个起作用的过滤器。 用途一，在执行其他过滤器之前，率先判断用户的session中是否已经存在一个SecurityContext了。如果存在，就把SecurityContext拿出来，放到SecurityContextHolder中，供S...
2015-06-16 15:26:26
123
原创 SpringSecurity使用记录（五）-- 配置
一直通过默认配置进行设置：namespace(是security 3.0,网上也看到一些兄弟描述的是3.0，但是总是不符合我这里的namespace配置):按照默认配置的http（这是用来根据namespace设置的基本的security过滤器chain）：auto-config=true时，就相当于 也就是使用了默认的过滤器。...
2015-06-16 10:05:13
424
原创 spring security 权限控制表达式
@PreAuthorize：该注解用来确定一个方法是否应该被执行。该注解后面跟着的是一个表达式，如果表达式的值为真，则该方法会被执行。 如 @PreAuthorize("hasRole('ROLE_USER')")就说明只有当前用户具有角色 ROLE_USER的时候才会执行。@PostAuthorize：该注解用来在方法执行完之后进行访问控制检查。@PostFilter：该注解用来对...
2015-06-16 09:49:48
261
原创 spring-security use-expressions详解
使用 Spring 表达式语言配置访问控制基于角色标准投票机制的标准实现是使用 RoleVoter ，还有一种替代方法可用来定义语法复杂的投票规则即使用 Spring 表达式语言（ SpEL ）。要实现这一功能的直接方式是在 配置元素上添加 use-expressions 属性：添加后将要修改用来进行拦截器规则声明的 access 属性，改为 SpEL 表达式。 SpEL 允许使用特...
2015-06-16 09:49:29
250
原创 spring security配置
auto-config = true 则使用from-login. 如果不使用该属性 则默认为http-basic(没有session).相当于： lowercase-comparisons：表示URL比较前先转为小写。access-denied-page：访问拒绝时转向的页面。 access-decision-m...
2015-06-16 09:48:29
176
原创 Flume采集处理日志文件
[b]1.source[/b]flume提供多种source供用户进行选择，尽可能多的满足大部分日志采集的需求，常用的source的类型包括avro、exec、netcat、spooling-directory和syslog等。具体的使用范围和配置方法详见source.[b]2.channel[/b]flume中的channel不如source和sink那么重要，但却是不可忽视的组...
2015-06-07 21:51:38
1030
原创 flume NG 配置及案例
[b]Flume 的一些核心概念：[/b][table]|组件|功能|Agent|使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。|Client|生产数据，运行在一个独立的线程。|Source|从Client收集数据，传递给Channel。|Sink|从Channel收集数据，运行在一个独立线程。|C...
2015-06-07 16:20:44
154
原创 hadoop2.X安装遇到的问题
1.zookeeper无法启动错误。 可能是由于没有关闭防火墙2.格式化ZK时 hdfs zkfc –formatZK 无法格式化原因 复制的命令无法正常执行，手敲的就可以3.nodemanager无法启动 修改 /etc/hosts 文件 把里面的 127.0.0.1 hadoop ...
2015-04-01 22:26:38
92
原创 hadoop2.x常用端口及定义方法
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:[table]|组件| 节点| 默认端口| 配置| 用途说明||H...
2015-03-29 12:40:44
139
原创 基于ZooKeeper的配置信息同步方案
整体的设计方案如图：[img]http://javachen-rs.qiniudn.com/images/2013/zookeeper-01.jpg[/img]整个配置信息存储方案由三部分组成:ZooKeeper服务器集群、配置管理程序、分布式应用程序。ZooKeeper服务器集群存储配置信息,在服务器上创建一个保存数据的节点(创建节点操作);配置管理程序提供一个配置管理的UI...
2015-03-12 00:39:06
217
原创 shell 特殊命令
awk命令作用： 在输出信息中提取相关内容awk -F 域分隔符‘命令’示例：1.检测系统中UID为0的用户awk -F: '$3==0 {print $1}' /etc/passwd2.检测系统中密码为空的用户awk -F: 'length($2)==0{print $1}' /etc/shadowshift命令对于某个命令行参数，其参数个数可以不...
2015-03-12 00:24:18
129
原创 shell的变量测试语句
test str1=str2 测试是否相等test str1!=str2 是否不相等test str1 是否不为空test -n str1 是否不为空test -z str1 是否为空文件测试：test -d file 是否目录test -f file 是否常规文件test -x file 是否可执行test -r file 是否可读test ...
2015-03-12 00:22:13
140
原创 hbase shell命令的使用
再使用hbase 命令之前先检查一下hbase是否运行正常[code="java"]hadoop@Master:/usr/hbase/bin$ jps2640 HMaster27170 NameNode27533 SecondaryNameNode3038 Jps27795 TaskTracker27351 DataNode2574 HQuorumPeer276...
2014-06-09 19:13:30
117
原创 HBase的安装
本篇介绍两种HBase的安装方式：本地安装方式和伪分布式安装方式。安装的前提条件是已经成功安装了hadoop，而且hadoop的版本要和hbase的版本相匹配。我将要安装的hbase是hbase-0.94.11版本，需要的hadoop是hadoop-1.2.1版本。hbase下载地址：http://mirror.bit.edu.cn/apache/hbase/hbase-0...
2014-06-09 17:28:58
100
原创 Hadoop中Mapper类的setup（）函数在什么地方调用
经过跟踪hadoop源码发现，Mapper类的setup（）函数在Mapper类的run（）函数中被调用。向hadoop提交job后，hadoop会在MapTask的runNewMapper（）或者runOldMapper（）函数中使用反馈机制实例化具体的Mapper子类，然后调用这个对象的run（）函数，其中setup()函数就在这个函数的开始被调用，因为hadoop会向setup（）函...
2014-06-05 21:27:29
152
原创 Nutch2 WebPage写入数据库的过程分析
版本: Nutch 2.2.1本文通过InjectJob来追踪webpage的定义、创建、传递、序列化、写入数据库的整个过程。从源码中摘录了重要的代码行，并标明其所在文件名、行号。1. 定义 schemaschema直接写在源代码里面：[code="java"]//file: [/code]org/apache/nutch/storage/WebPage.java /...
2014-06-05 21:25:37
85
原创 使用avro生成java文件
首先下载avro-tools-1.7.6.jar包创建user.avsc文件和需要生成的文件夹java[code="java"]{"namespace": "example.avro", "type": "record", "name": "User", "fields": [ {"name"
2014-06-04 21:16:31
459
原创 Avro Datafile
转载请写明来源地址：[url]http://blog.csdn.net/lastsweetop/article/details/9817999[/url]所有源码在github上[url]https://github.com/lastsweetop/styhadoop[/url]datafile组成datafile的组成如下图：datafile分为文件头是数据块，如果看图还是不...
2014-06-04 08:37:55
320
原创 Avro序列化与反序列化
转载请写明来源地址：[url]http://blog.csdn.net/lastsweetop/article/details/9773233[/url]所有源码在github上[url]https://github.com/lastsweetop/styhadoop[/url]使用avro在很多情况下是对原有系统的改造，框架格式都已经定义好了，我们只能直接用avro对原有数据进行整合...
2014-06-04 08:23:26
348
原创 Avro Schemas
转载请写明来源地址：[url]http://blog.csdn.net/lastsweetop/article/details/9664233[/url]所有源码在github上[url]https://github.com/lastsweetop/styhadoop[/url]Schema 定义Schema是JSON格式的，包括下面三种形式：1.JSON string类型,主要是...
2014-06-04 08:16:41
118
原创 Avro简介
转载请写明来源地址：[url]http://blog.csdn.net/lastsweetop/article/details/9448961[/url]所有源码在github上[url]https://github.com/lastsweetop/styhadoop[/url]Avro是个支持多语言的数据序列化框架，支持c，c++，c＃，python，java，php，rub...
2014-06-04 08:14:30
168
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人