HDFS多用户管理ACL机制other权限访问控制的理解

非Master服务器用户也能通过客户端远程访问Hadoop 现象:在Hadoop集群多用户管理实践中发现,客户端用非Master服务器配置的用户连接Master,也通用具备对指定目录的操作权限。比如Master服务器提供的用户的是A,理论上客户端应用在A用户下部署安装hadoop后远程连接,但现...

2016-04-29 11:11:41

阅读数 4630

评论数 0

关于Hadoop多用户管理支持客户端远程操作的理论总结

1、问题 Hadoop客户端如何配置可远程操作Hadoop;Hadoop多用户情况下,是如何管理权限并分配存储空间和计算能力,保证集群的稳定。 2、Hadoop平台 要理解客户端如何通过指定用户远程操作hadoop集群,这里先理解下hadoop平台的部署架构。Hadoop是大数据分布式处理的...

2016-04-27 16:52:55

阅读数 5054

评论数 0

(转载)数据库范式及宽表窄表理解

1、数据库设计的三大范式,转载地址:http://www.cnblogs.com/linjiqin/archive/2012/04/01/2428695.html 为了建立冗余较小、结构合理的数据库,设计数据库时必须遵循一定的规则。在关系型数据库中这种规则就称为范式。范式是符合某...

2016-04-25 09:50:40

阅读数 11200

评论数 0

(转载)hive文件存储格式

对于hive格式的认识,先转载后实践再加深认识。 转载地址:http://blog.csdn.net/yfkiss/article/details/7787742 hive在建表是,可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式 例如: [...

2016-04-25 09:42:56

阅读数 1969

评论数 0

(转载)浅析Hadoop文件格式

对于Hadoop学习要持续,这里转载下关于hadoop文件格式,后续实践中在加以理解。 转载地址:http://www.infoq.com/cn/articles/hadoop-file-format Hadoop 作为MR 的开源实现,一直以动态运行解析文件格式并获得比M...

2016-04-25 09:37:24

阅读数 2024

评论数 0

(转载)MyCat:开源分布式数据库中间件

发现MyCat这个东西,觉得还是有很多应用场合,之前为了mysql读写分离、分布等伤透脑筋,没想到有现成的中间件工具,看来很多有经验的公司是受到过折磨,才整出好工具。方法和工具的发明,总是因为问题的存在。暂时还没时间真正部署下mycat来研究,先转载关于mycat的介绍,地址:http://www...

2016-04-21 14:46:12

阅读数 2402

评论数 0

基于bootstrap实现简单用户管理功能

基于bootstrap实现简单用户管理功能,包括增删改以及列表分页展示功能。 1、web.xml配置servlet映射: UserMgServlet com.userMgServlet UserMgServlet /ToUserMgServlet ...

2016-04-14 15:50:14

阅读数 3691

评论数 0

JSP关于Frameset的简单用法

1、main.jsp设定页面框架为上下(左右)格局,代码如下: <frame src="top.jsp" name="topFrame" scrolling="No" noresize="noresize&qu...

2016-04-13 15:36:19

阅读数 6672

评论数 0

日志分析平台ELK部署初学

1)ELK介绍 ELK官方网站:https://www.elastic.co/products elk-docker 官网:http://elk-docker.readthedocs.org/#installation 日志分析平台ELK由 ElasticSearch 、 Logstash ...

2016-04-11 16:15:47

阅读数 2976

评论数 0

Nutch爬虫引擎使用分析

Nutch2.X主要执行流程: 1)InjectorJob: 从文件中得到一批种子网页,把它们放到抓取数据库中去 2)GeneratorJob:从抓取数据库中产生要抓取的页面放到抓取队列中去 3)FetcherJob:   对抓取队列中的网页进行抓取,在reducer中使用了生产/消费者模型...

2016-04-08 17:19:53

阅读数 3560

评论数 0

(转载)Nutch 2.0 之 抓取流程简单分析

Nutch 2.0 抓取流程介绍 --------------------- 1. 整体流程 InjectorJob => GeneratorJob => FetcherJob => ParserJob => DbUpdaterJob => So...

2016-04-06 15:20:22

阅读数 2095

评论数 0

(转载)Nutch2 WebPage 字段解释

版本:       Nutch2.2.1 id 主键,根据网页url生成(格式:reversed domain name:protocol:port and path),因此,Nutch2只能保存当前网页的状态,而不能保存历史信息。 headers 标准的http headers ...

2016-04-06 10:54:05

阅读数 2362

评论数 0

Nutch编译及集成eclipse+mysql开发环境的部署总结

Nutch是一个应用程序,以Lucene为基础实现的搜索引擎应用,Lucene为Nutch 提供了文本搜索和索引的API,Nutch不仅提供搜索,而且还有数据抓取的功能。 1)linux下nutch集成mysql编译 预先部署ubuntu+jdk+tomcat+mysql,配置mysql的配置...

2016-04-01 18:02:37

阅读数 3017

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭