自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

IT十年

纸上得来终觉浅,绝知此事要躬行。

原创 分析启动脚本zkServer.sh

# use POSIX interface, symlink is followed automatically ZOOBIN="${BASH_SOURCE-$0}" ZOOBIN="$(dirname "${ZOOBIN}")" Z...

2018-11-15 23:10:50 2373 0

原创 搭建kafka2.0.0源码开发环境

一、先安装好java、scala、zookeeper、gradle,需要配置 JAVA_HOME、SCALA_HOME、ZOOKEEPER_HOME、GRADLE_HOME、PATH、CLASSPATH(java的) 二、下载 kafka 2.0.0 源码(要下载zip包,gz包里有些java文...

2018-11-12 23:15:25 847 0

翻译 scala基础

摘自《big data analytics with spark》 scala基础 虽然scala包含了面向对象编程和函数式编程的能力,但是他更侧重函数式编程。 写spark程序,只会用到一点点scala的基本功能,所以只需要学一点点scala就可以了。 自带的类型:这些...

2017-11-18 19:08:54 2722 0

原创 远程连接hive server

hiveserver2 1、在hive服务器上启动hive server2,在你的hive主目录/bin/下找到并执行下面的命令,默认监听10000端口 #hiveserver2 2、使用cli在本机连接 #beeline beeline> !connect jdbc:hive2://l...

2017-11-16 12:18:43 10047 1

原创 《hive编程指南》阅读笔记摘要(九)

第10章 调优 一个hive任务会包含有一个或多个阶段stage,不同的stage间有依赖关系。 一、分析复杂的或者执行效率低的查询时,可以使用explain语句,如 explain select .....; 二、explain extended可以产生更多的输出信息 expl...

2017-04-10 22:37:42 1140 0

原创 《hive编程指南》阅读笔记摘要(八)

第9章 模式设计 1、按天划分的表建议使用分区表 2、HDFS namenode会将所有的文件系统的元数据信息加载到内存中 3、hive没有主键或基于序列秘钥生成的自增键的概念 4、为了避免分区中数据不均的问题,可以用另一种数据分管的技术:分桶 create table we...

2017-04-08 14:55:00 836 0

原创 《hive编程指南》阅读笔记摘要(七)

第8章 HiveQL:索引 1、hive只有有限的索引功能。 2、explain命令可以查看某个查询语句是否用到了索引 3、创建索引 create index employees_index on table employees(country) as 'org....

2017-04-05 21:55:58 1037 0

原创 《hive编程指南》阅读笔记摘要(六)

第7章 HiveQL:视图 1、视图不像表一样会存储数据,hive目前不支持物化视图。 2、当一个查询引用一个视图时,这个视图定义的查询语句会和用户的查询语句组合在一起,然后供hive制定查询计划。可以认为,hive先执行这个视图,然后使用这个结果进行余下后续的查询。 3、hive查询语句中...

2017-04-04 09:43:02 793 0

原创 《hive编程指南》阅读笔记摘要(五)

第6章 HiveQL:查询 查询字段是数组类型的元素数据 select name, subordinates[0] from employees; 查询字段是map类型的元素数据 select name, deductions["state taxes"] from emplo...

2017-03-24 09:56:07 1054 0

原创 《hive编程指南》阅读笔记摘要(四)

第5章 HiveQL:数据操作 既然hive没有行级别的增删改操作,那么往表中装载数据的唯一途径就是“大量”的数据装载操作,或者通过其他方式仅仅将文件写到正确的目录下。 一、装载数据 LOAD DATA LOCAL INPATH '${env:HOME}/california-emplo...

2017-03-22 23:00:05 857 0

原创 《hive编程指南》阅读笔记摘要(三)

第四章 HiveQL:数据定义 hive中的数据库本质上只是表的一个目录或者命名空间,用来组织表 hive有一个默认的数据库default,如果没有显式地指定数据库,默认是default库 创建数据库 create database if not exists test; 显示所有数据库 sh...

2017-03-21 22:44:38 1072 0

原创 《hive编程指南》阅读笔记摘要(二)

第三章 数据类型和文件格式 hive中的数据类型包括基本数据类型和集合数据类型(array、map、struct),通常,关系型数据库中没有集合数据类型,而是用关系表关联表示集合。 原因在于:hive中将相关数据存储在一起,来减少磁盘寻址操作,提高性能。 基本数据类型都是对java中接口的实现,...

2017-03-20 21:42:42 1088 0

原创 《hive编程指南》阅读笔记摘要(一)

第一二章 基础知识、基础操作 hive的缺点 1、hive不支持记录级别的增删改操作,但是用户可以通过查询生成新表或者将查询结果导入到文件中。 2、Hive的查询延时很严重,因为MapReduce job的启动过程消耗很长时间,所以不能用在交互查询系统中。 3、hive不支持事务。 h...

2017-03-19 15:29:36 3238 0

原创 从IT技术面试官的角度说说技术人的简历

以前曾经看到过一些公司HR写的点评应聘者简历的文章,在这些文章中,人力资源部门的人会提出一些意见,指导应聘者尤其是刚刚毕业的应届生怎么写简历才能在众多简历中脱颖而出。我当时虽然看过这些文章,但对里边的说法并不太在意,一是因为这些文章的目标读者是所有有意寻找工作的人,而不限于IT技术人员;二是人力资...

2016-12-13 23:06:01 19845 1

原创 怎么理解RSA算法

原文地址:http://www.ittenyear.com/414/rsa/ 怎么理解RSA算法 可以把非对称加密算法里的公钥想象成一个带锁的箱子,把私钥想象成一把钥匙 可以把对称加密算法里的密钥想象成箱子和钥匙的组合 HTTPS使用了非对称加密和对称加密的组合:RSA和DES的组合就是...

2016-03-20 15:48:33 1390 0

翻译 电商系统Broadleaf文档翻译(九) – 扩展的服务extending services

原文标题:extending services 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/data-and-service-models/extending-services 译者:IT...

2016-03-18 22:07:46 1811 1

翻译 电商系统Broadleaf文档翻译(八) – 主要服务main services

原文标题:main services 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/data-and-service-models/main-services 译者:IT十年 译文链接:h...

2016-03-17 22:51:30 1823 0

翻译 电商系统Broadleaf文档翻译(七) – 扩展实体extending entities

原文标题:main services 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/data-and-service-models/extending-entities 译者:IT十年 译...

2016-03-15 19:59:37 1603 0

翻译 电商系统Broadleaf文档翻译(六) - 主要实体main entities

主要实体 原文标题:main entities 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/data-and-service-models/main-entities 译者:IT十年 译文...

2016-03-09 19:53:52 1614 0

翻译 电商系统Broadleaf文档翻译(五) - 架构图表architecture diagrams

架构图 原文标题:application architecture component view 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/architecture-diagrams/ 译...

2016-03-08 20:40:48 2065 0

翻译 电商系统Broadleaf文档翻译(四) - 应用架构组件视图application architecture component view

应用架构组件视图 原文标题:application architecture component view 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/architecture-diagra...

2016-03-07 21:05:39 2175 0

翻译 电商系统Broadleaf文档翻译(三) - 应用架构模块视图application architecture module view

应用架构模块视图 原文标题:server configuration 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/architecture-diagrams/application-ar...

2016-03-06 23:30:28 1891 0

翻译 电商系统Broadleaf文档翻译(二) - 推荐服务器配置server configuration

原文标题:server configuration 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/architecture-diagrams/server-configuration 译者:IT...

2016-03-05 19:06:42 1921 0

翻译 电商系统Broadleaf文档翻译(一) - 逻辑架构Logical Architecture

原文标题:Logical Architecture 原文出处:http://www.broadleafcommerce.com/docs/core/current/broadleaf-concepts/architecture-diagrams/logical-architecture 译者:IT...

2016-03-05 10:05:33 4262 0

原创 单点登录cas常见问题(十四) - ST和TGT的过期策略是什么?

ST和TGT的过期策略可以参看配置文件:ticketExpirationPolicies.xml 1、先说ST:ST的过期包括使用次数和时间,默认使用一次就过期,或者即使没有使用,一段时间后也要过期 当cas配置为OAuth服务器时,oauth中的授权码code也是用一次就过期,它和单点登录中...

2016-03-01 21:22:17 9952 4

原创 单点登录cas常见问题(十三) - 几个重要概念怎么理解?

1、TGC:Ticket-granting cookie,存放用户身份认证凭证的cookie,在浏览器和CAS Server间通讯时使用,是CAS Server用来明确用户身份的凭证。TGT封装了TGC值以及此Cookie值对应的用户信息。 2、TGT:ticket granting tic...

2016-03-01 06:51:15 9233 1

原创 单点登录cas常见问题(十二) - Principal的id对应数据库表中的哪个字段?

Principal.getId()拿到的用户id,默认是从Credential.getId()拷贝过来的,Principal实例主要是来自DefaultPrincipalFactory DefaultPrincipalFactory.createPrincipal(final String id...

2016-02-29 21:52:39 4059 1

原创 单点登录cas常见问题(十一) - 怎么搭建oauth服务器?

1、cas项目导入cas-server-support-oauth子项目 如果pom.xml中注释掉了这个模块,放开注释:cas-server-support-oauth 2、cas-server-webapp项目的pom.xml中添加           org.jasig.cas   ...

2016-02-25 06:37:44 5264 0

原创 单点登录cas常见问题(十) - 怎么将认证方式改为JDBC方式?

认证方式:默认的用户名密码写死在配置文件中           class="org.jasig.cas.authentication.AcceptUsersAuthenticationHandler">                        ...

2016-02-23 21:45:06 2027 0

转载 android app项目启动时的架构搭建

原文出处:http://www.jianshu.com/p/d9e4ddd1c530 1.项目结构 现在的MVP模式越来越流行。就默认采用了。 如果项目比较小的话: app——Application Activity Fragment Presenter等的顶级父类config——API,常量...

2016-02-23 21:33:27 1454 0

原创 单点登录cas常见问题系列汇总 - 持续更新

单点登录cas常见问题(一) - 子系统是否还要做session处理? 单点登录cas常见问题(二) - 子系统是否会频繁访问cas中心? 单点登录cas常见问题(三) - 单点登出时,子系统是否同步登出? 单点登录cas常见问题(四) - ticket有哪些存储方式? 单点登录cas常见...

2016-02-21 20:03:55 6366 3

原创 单点登录cas常见问题(九) - android app怎么接入cas单点登录系统?

cas-server-support-rest子项目有什么用:如果一个android app要接入cas中心系统,就需要用到这个子项目。 引入的前提条件是,cas项目已经启用了,通常不会启用一部分项目,如cas-server-webapp。 引入步骤: 1、将cas-server-support-...

2016-02-21 19:56:13 11476 2

原创 单点登录cas常见问题(八) - 什么时候会用到代理proxy模式?

举一个例子:有两个应用App1和App2,它们都是受Cas服务器保护的,即请求它们时都需要通过Cas 服务器的认证。现在需要在App1中通过Http请求访问App2,显然该请求将会被App2配置的Cas的AuthenticationFilter拦截并转向Cas 服务器,Cas 服务器将引导用户进...

2016-02-21 19:36:19 5374 0

原创 单点登录cas常见问题(七) - 各子项目是做什么的?

cas-management-webapp                       这是一个管理service的web项目,没有管理用户的功能 cas-server-core                                            cas核心/基础子项目 ...

2016-02-20 14:41:30 6719 0

原创 单点登录cas常见问题(六) - cas中心配置的service的信息数据更新了,能否自动重新加载?

先说一下,为什么cas系统中,接入的各个子系统叫服务呢? 因为对普通用户来说,每一个接入到cas认证中心的子系统都提供特定的服务,大家都听过软件即服务,平台即服务,这样理解service就通顺了 SaaS:Software-as-a-Service,软件即服务 PaaS:Platform a...

2016-02-20 14:36:50 5289 1

原创 单点登录cas常见问题(五) - service有哪些存储方式?

service的存储方式有以下几种: 1、InMemoryServiceRegistryDaoImpl 2、JsonServiceRegistryDao 3、JpaServiceRegistryDaoImpl:如果启用了oauth,因为每一个第三方都被认为是一个service,最好存储在数据...

2016-02-19 20:49:42 4318 0

原创 单点登录cas常见问题(四) - ticket有哪些存储方式?

配置文件ticketRegistry.xml负责配置ticket的存储方式,registry是注册表,登记薄的意思 常用的存储方式包括 1、DefaultTicketRegistry:默认的,存储在内存里 2、JpaTicketRegistry:存储在数据库中,服务器重启时,已有的tic...

2016-02-19 20:43:59 7086 0

原创 单点登录cas常见问题(三) - 单点登出时,子系统是否同步登出?

答案是:子系统会同步登出。 可以跟踪源码(这里cas版本是4.x) 调用流程如下: terminateSessionAction.terminate(flowRequestContext)     centralAuthenticationService.destroyTicket...

2016-02-18 19:47:18 6392 0

原创 单点登录cas常见问题(二) - 子系统是否会频繁访问cas中心?

这个问题的完整描述是:用户成功登陆后,在访问子系统的受限资源时,还需要访问cas中心么,即子系统是否还会频繁访问cas中心,cas中心会不会压力太大? 答案是:不会。 如果用户通过子系统A登录了cas中心,因为子系统A已经为每个登录用户创建了session(参考 单点登录cas常见问题(一...

2016-02-18 19:38:45 3459 1

原创 单点登录cas常见问题(一) - 子系统是否还要做session处理?

如果使用phpcase等cas系统提供的客户端sdk,他帮我们自动做好了session的处理:cas中心验证用户凭证后,会把用户信息传递给子系统,子系统的客户端sdk会把cas中心传回来的用户信息保存到session中(默认是保存user),并且在返回浏览器时将sessionid写到cookie中...

2016-02-17 22:23:45 11896 0

提示
确定要删除当前文章?
取消 删除