大数据技术
文章平均质量分 73
约瑟夫的杂货店
世间本无事,庸人自扰之。
展开
-
ubuntu16.04配置hive2.1.1详解及相关问题解决
主要参考博客Ubuntu系统下安装并配置hive-2.1.0mysql安装配置安装mysql服务 ‘sudo apt-get install mysql-server mysql-client’ 启动mysql服务 ‘sudo service mysql start’ 注释: 重启mysql服务: ‘service mysql restart’ 停止mysql服务: ‘serv原创 2017-10-06 23:27:52 · 1419 阅读 · 0 评论 -
apache hive + sentry测试
环境: 1. ubuntu 16.04STL 2. hadoop-2.6.0-cdh5.13.0 3. hive-1.1.0-cdh5.13.0 4. sentry-1.5.1-cdh5.13.0 —————————————————————————————— 各版本下载地址:(http://archive-primary.cloudera.com...原创 2017-11-25 11:49:31 · 1923 阅读 · 1 评论 -
关于hadoop,hive,sentry版本问题
最初因为懒得找资源直接在apache官网上下载hadoop,hive,sentry,结果因为各个版本之间的兼容问题导致互相集成出现各种这样那样的错误。 现在已经改为cloudera下的各个软件,版本控制清楚,不会因为版本问题导致各种不必要的错误。。。 血的教训!!更多关于apache和cloudera之间的区别请移步Cloudera的CDH和Apache的Hadoop的区别。原创 2017-11-03 15:53:12 · 704 阅读 · 0 评论 -
Sentry简单的shell命令
概述简单的shell命令是Sentry用于管理元数据的命令行工具,比如:bin/sentryShell --grant_role_privilege --role analyst --privilege server=server1->db=db2->table=tab1->action=select --conf sentry-site.xmlShell命令目前仅限于Hive授权元数据,支持一下命翻译 2017-10-26 17:46:51 · 1412 阅读 · 1 评论 -
ubuntu16.04 Hadoop安装
主要参考: 在Ubuntu 14.04 LTS上安装部署Hadoop 2.7.1(伪分布式)配置ssh免密码登录安装ssh server:sudo apt-get install openssh-servercd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhostssh-keygen -t rsa原创 2017-10-02 21:55:09 · 5405 阅读 · 0 评论 -
为什么Cloudera要创建Hadoop安全组件Sentry?
要说清楚这个问题,还得从大数据平台安全体系的四个层次说起:外围安全、数据安全、访问安全以及访问行为监控;转载 2017-10-26 09:34:12 · 773 阅读 · 0 评论 -
apache sentry安装
环境Ubuntu STL 16.0.4Hadoop 2.7.4Hive 2.1.1sentry 1.7.0maven 3.5.0//注:伪分布式环境安装maven1.apache maven官网下载maven,用于编译sentry源码。 2.修改~/.bashrc文件,添加maven路径。export MAVEN_HOME=/etc/usr/local/maven export原创 2017-10-19 20:50:56 · 1189 阅读 · 0 评论 -
Apache Sentry架构介绍
转载自JavaChen Blog,作者:JavaChen本文链接地址:http://blog.javachen.com/2015/04/29/apache-sentry-architecture.html 参考文献:开源大数据治理与安全软件综述 介绍Apache Sentry是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化项目,它提供了细粒度...转载 2017-10-25 20:38:02 · 809 阅读 · 0 评论 -
Cloudera的CDH和Apache的Hadoop的区别
目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Hortonworks Data Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本,转载 2017-10-04 18:20:17 · 695 阅读 · 0 评论 -
第一个Hadoop程序WordCount
参考博客:ubuntu安装hadoop详细步骤 环境: ubuntu16.04LTS+Hadoop2.7.4 配置可参考ubuntu16.04 Hadoop安装本地新建一个文件,笔者在~/Documents目录下新建了一个wordCount.txt文档,里面的内容可以随便填写。 I have an apple I have a pen emmmmm applep原创 2017-10-02 22:36:14 · 386 阅读 · 1 评论 -
《Hadoop权威指南》笔记-关于MapReduce
本笔记主要总结记录2.4节 横向扩展。本小结简单介绍了Hadoop中MapReduce的执行流程,即对数据流的处理过程,和多map对应多reduce的情况。数据流Mapduce主要分成一下五步: 1. MapReeduce作业(job) :客户端需要执行的一个工作单元,包括输入数据、MapReduce程序和配置信息。其主要分为两大类任务:map任务和reduce任务,这些任务运行在集...原创 2018-05-23 17:11:29 · 379 阅读 · 0 评论