![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 75
xiaoL_clo
总是三分钟热度的学习,希望这次坚持得久一点
展开
-
大数据算法:对5亿数据进行排序
前言: 在大数据研究的路上,我们总要对一些很大的数据进行各种各样的操作。比如说对数据排序,比如说对数据统计,比如说对数据计算。而在大量的数据面前,我们总是束手无策,因为我们无法在限定时间的情况下,在效率上做到让人满意,也无法在限定空间的情况下,能够快速解决问题。可能我们在一些日常的开发过程中,没有遇到过这些问题。不过,现在是时候来考虑一下这样的问题了。因为,现在正值大数据的时代。转载 2017-07-06 10:20:47 · 486 阅读 · 0 评论 -
Hive、Hbase、mysql区别
Hive和HBase的区别Hive是为了简化编写MapReduce程序而生的,使用MapReduce做过数据分析的人都知道,很多分析程序除业务逻辑不同外,程序流程基本一样。在这种情况下,就需要hive这样的用戶编程接口。Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce,Hive中的表纯逻辑,就是些表的定义等,也就是表的元数据。使用SQL实现Hive是因为SQL大家都熟转载 2017-06-28 16:16:47 · 784 阅读 · 0 评论 -
Hive集成HBase详解
摘要Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询 应用场景1. 将ETL操作的数据存入HBase2. HBase作为Hive的数据源3. 构建低延时的数据仓库 使用1.从Hive中创建HBase表使用HQL语句创建一个指向HBa转载 2017-06-22 13:22:23 · 1932 阅读 · 0 评论 -
YARN、Spark、Hive使用kerberos
本文记录YARN、Spark、Hive各服务配置使用kerberos的过程。我的环境:三台服务器,分别命名为zelda1、zelda2、zelda3ubuntu 14.04hadoop 2.7.2spark 2.0/1.6.1YARN认证目的是将YARN接入到kerberos集群里,使得:RM和NM之间能互相认证,避免混进去恶意服务;其他提交到YARN上的J转载 2017-02-20 09:43:05 · 11973 阅读 · 1 评论 -
HDFS使用Kerberos
转载自:http://www.datastart.cn/tech/2016/06/07/kerberos-1.html本文尝试记录HDFS各服务配置使用kerberos的过程,配置的东西比较多,一定会有疏漏。我的环境:三台服务器,分别命名为zelda1、zelda2、zelda3ubuntu 14.04hadoop 2.7.2spark 2.0/1.6.1转载 2017-02-17 15:12:01 · 23713 阅读 · 3 评论 -
HDFS配置Kerberos认证
HDFS配置Kerberos认证2014.11.04本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程,包括 Kerberos 的安装和 Hadoop 相关配置修改说明。注意:下面第一、二部分内容,摘抄自《Hadoop的kerberos的实践部署》,主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个转载 2017-02-15 10:19:01 · 2447 阅读 · 0 评论 -
kerberos安装配置
安装步骤: 1.下载krb5-1.9 http://web.mit.edu/kerberos/dist/krb5/1.9/krb5-1.9-signed.tar 2.解压 tar -xvf krb5-1.9.signed.tar 生成krb5-1.9.tar.gz 和krb5-1.9.tar.gz.asc 继续解压tar zxvf krb5-1.9.tar.gz转载 2017-02-13 10:32:21 · 2169 阅读 · 2 评论 -
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章:1.一个好的项目架构应该具备什么特点?2.本项目架构是如何保证数据准确性的?3转载 2016-12-21 17:20:55 · 909 阅读 · 0 评论 -
Hadoop可视化分析利器之Hue
先来看下hue的架构图:转载 2016-12-20 09:52:54 · 2194 阅读 · 0 评论