大数据处理
文章平均质量分 90
d4shman
~
展开
-
大数据架构文章整理
以下是学习数据分析过程中用到的文档: 一、 Hadoop相关: 1. Hadoop集群搭建: http://blog.csdn.net/weixuehao/article/details/15813681 2. 分布式文件系统HDFS的架构和设计: https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html 3. Ha原创 2016-03-18 11:07:45 · 934 阅读 · 0 评论 -
hadoop streaming
----- 如果程序运行所需要的可执行文件、脚本或者配置文件在Hadoop集群的计算节点上不存在,则首先需要将这些文件分发到集群上才能成功进行计算。 Hadoop提供了自动分发文件和压缩包的机制,只需要在启动Streaming作业时配置相应的参数。 1. –file 将本地文件分发到计算结点 2. –cacheFile 文件已经存放在HDFS中,希望计算时在每个计算节点上将原创 2016-03-21 18:30:41 · 661 阅读 · 0 评论 -
Hive相关资料整理
------- 什么是HIVE http://www.aboutyun.com/thread-7411-1-1.html Programming Hive HIVE架构和工作原理 全面了解HIVE HIVE实现原理 Hive SQL解析/执行计划生成流程分析 Hive操作(HQL) HIVE基本操作 Hadoop Hive原创 2016-03-21 19:38:44 · 1085 阅读 · 0 评论 -
Hive VS HBase
原文地址:https://www.xplenty.com/blog/2014/05/hive-vs-hbase/ --- Comparing Hive with HBase is like comparing Google with Facebook - although they compete over the same turf (our private information)转载 2016-11-14 13:54:09 · 1427 阅读 · 0 评论