约瑟夫的杂货店

世间本无事,庸人自扰之。

排序:
默认
按更新时间
按访问量

《Hadoop权威指南》笔记-关于MapReduce

本笔记主要总结记录2.4节 横向扩展。 本小结简单介绍了Hadoop中MapReduce的执行流程,即对数据流的处理过程,和多map对应多reduce的情况。 数据流 Mapduce主要分成一下五步: 1. MapReeduce作业(job) :客户端需要执行的一个工作单元,包括输入数据、...

2018-05-23 17:11:29

阅读数:34

评论数:0

Linux的有效用户和实际用户及安全问题

主要参考: Linux进程的实际用户ID和有效用户ID 实际用户和有效用户 无死角理解保存设置用户ID,设置用户ID位,有效用户ID,实际用户ID 一. 概念 在Unix进程中涉及多个用户ID和用户组ID,包括如下: 实际用户ID和实际用户组ID:标识我是谁。也就是登...

2018-02-26 13:26:15

阅读数:87

评论数:0

工厂(Factory)模式

转载自 http://blog.csdn.net/eson_15/article/details/51223124 1.工厂模式的定义 工厂模式使用的频率非常高,我们在开发中总能见到它们的身影。其定义为:Define an interface for creating an object,...

2018-02-22 12:21:13

阅读数:26

评论数:0

C/C++之回调函数

转自: C/C++之回调函数 - 淡水求咸 - 博客园 今天讨论下C/C++中的回调函数。 在理解“回调函数”之前,首先讨论下函数指针的概念。函数指针(1)概念:指针是一个变量,是用来指向内存地址的。一个程序运行时,所有和运行相关的物件都是需要加载到内存中,这就决定了程序运行时的任何物件都可以用...

2017-12-27 14:19:10

阅读数:96

评论数:0

apache hive + sentry测试

环境: 1. ubuntu 16.04STL 2. hadoop-2.6.0-cdh5.13.0 3. hive-1.1.0-cdh5.13.0 4. sentry-1.5.1-cdh5.13.0 ———————————————————————————...

2017-11-25 11:49:31

阅读数:424

评论数:0

关于hadoop,hive,sentry版本问题

最初因为懒得找资源直接在apache官网上下载hadoop,hive,sentry,结果因为各个版本之间的兼容问题导致互相集成出现各种这样那样的错误。 现在已经改为cloudera下的各个软件,版本控制清楚,不会因为版本问题导致各种不必要的错误。。。 血的教训!!更多关于apache和clou...

2017-11-03 15:53:12

阅读数:162

评论数:0

量子通讯加密技术的技术原理

1 什么是量子一个物理量如果存在最小的不可分割的基本单位,则这个物理量是量子化的,并把最小单位称为量子。量子英文名称量子一词来自拉丁语quantus,意为“有多少”,代表“相当数量的某物质”。在物理学中常用到量子的概念,指一个不可分割的基本个体。例如,“光的量子”(光子)是一定频率的光的基本能量单...

2017-10-31 09:53:59

阅读数:606

评论数:0

Maven详解

转载自:Maven详解一.前言以前做过的项目中,没有真正的使用过Maven,只知道其名声很大,其作用是用来管理jar 包的。最近一段时间在项目过程中使用Maven,用Maven构建的web项目,其项目结构只停留在了解阶段,没有深入的使用与理解,刚好最近看了一篇关于Maven的详解;就开始深入学习一...

2017-10-27 10:10:01

阅读数:140

评论数:0

Sentry简单的shell命令

概述简单的shell命令是Sentry用于管理元数据的命令行工具,比如:bin/sentryShell --grant_role_privilege --role analyst --privilege server=server1->db=db2->table=tab1->ac...

2017-10-26 17:46:51

阅读数:430

评论数:0

为什么Cloudera要创建Hadoop安全组件Sentry?

要说清楚这个问题,还得从大数据平台安全体系的四个层次说起:外围安全、数据安全、访问安全以及访问行为监控;

2017-10-26 09:34:12

阅读数:190

评论数:0

Apache Sentry架构介绍

转载自JavaChen Blog,作者:JavaChen本文链接地址:http://blog.javachen.com/2015/04/29/apache-sentry-architecture.html 参考文献:开源大数据治理与安全软件综述 介绍 Apache Sentry是...

2017-10-25 20:38:02

阅读数:345

评论数:0

基于角色的访问控制

RBAC概述基于角色的访问控制(Role-Based Access Control, RBAC )的核心思想就是将访问权限与角色相联系,通过给用户分配合适的角色,让用户与访问权限相联系。 角色是权限的集合,对于一个系统中可以有多个角色,每个角色对不同的资源有不同的权限,当用户访问资源时,首先系统...

2017-10-25 16:04:45

阅读数:190

评论数:0

apache sentry安装

环境Ubuntu STL 16.0.4 Hadoop 2.7.4 Hive 2.1.1 sentry 1.7.0 maven 3.5.0//注:伪分布式环境安装maven1.apache maven官网下载maven,用于编译sentry源码。 2.修改~/.bashrc文件,添加mave...

2017-10-19 20:50:56

阅读数:237

评论数:0

ubuntu16.04配置hive2.1.1详解及相关问题解决

主要参考博客Ubuntu系统下安装并配置hive-2.1.0mysql安装配置 安装mysql服务 ‘sudo apt-get install mysql-server mysql-client’ 启动mysql服务 ‘sudo service mysql start’ 注释: 重启...

2017-10-06 23:27:52

阅读数:698

评论数:0

Cloudera的CDH和Apache的Hadoop的区别

目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Ho...

2017-10-04 18:20:17

阅读数:251

评论数:0

第一个Hadoop程序WordCount

参考博客:ubuntu安装hadoop详细步骤 环境: ubuntu16.04LTS+Hadoop2.7.4 配置可参考ubuntu16.04 Hadoop安装 本地新建一个文件,笔者在~/Documents目录下新建了一个wordCount.txt文档,里面的内容可以随便填写。 I...

2017-10-02 22:36:14

阅读数:141

评论数:0

ubuntu16.04 Hadoop安装

主要参考: 在Ubuntu 14.04 LTS上安装部署Hadoop 2.7.1(伪分布式)配置ssh免密码登录 安装ssh server: sudo apt-get install openssh-server cd ~/.ssh/ # 若没有该目录...

2017-10-02 21:55:09

阅读数:948

评论数:0

RSA加密算法简介

背景RSA加密算法是公钥密码最著名的算法之一,是由MIT三位(Ron Rivest, Adi Shamir, Len Adleman)提出的,也就以三位的名字首字母命名。 该算法的理论基础是“大数分解和素数检测“,如果说有一天,大数分解和素数检测的数学理论被证明可以简单解决,那么RSA算法的加密...

2017-09-19 12:39:02

阅读数:433

评论数:0

公钥密码的基本原理

公钥密码:基于数学函数而非基于代替和置换;公钥密码使用两个独立的密钥。公钥密码术语: 非对称密钥:公钥和私钥,用来加密和解密,或用来生成签名或验证签名; 公钥证书:是有签证机构用自己的私钥签名的数字文件; 公钥密码算法:从公钥推私钥是不可行的; 公钥基础设施(PKI):用于管理证书,公私钥对,并负...

2017-09-11 11:05:59

阅读数:819

评论数:1

公钥密码 之 素数,费马定理与欧拉定理

素数素数是我们中学就知道的知识,关于概念就不再赘述,我们来给出形式化的定义: 任意整数a > 1都可以唯一的因子分解为多个素数的积,设P为所有素数的集合,则对任意正整数a可唯一表示为: , 其中每一个 特性: 若,定义k=ab,我们知道:,则可以推出有 费马定理描述如下...

2017-09-08 22:05:26

阅读数:309

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭