大数据学习
正在加载丶
一直在进步。
展开
-
大数据学习笔记之MapReduce
一、神马是高大上的MapReduce MapReduce是Google的一项重要技术,它首先是一个编程模型,用以进行大数据量的计算。对于大数据量的计算,通常采用的处理手法就是并行计算。但对许多开发者来说,自己完完全全实现一个并行计算程序难度太大,而MapReduce就是一种简化并行计算的编程模型,它使得那些没有多有多少并行计算经验的开发人员也可以开发并行应用程序。这也就是MapReduc原创 2017-06-07 15:33:46 · 690 阅读 · 0 评论 -
linux安装hadoop配置Yarn
1. 下载JDK,安装部署JAVA环境。如下修改~/.bashrc (1)export JAVA_HOME=/home/xxx/jdk1.6.0_24 (2)export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar (3)export PATH=$JAVA_HOME/bin:$PATH 2. 设置ssh免原创 2017-06-08 18:21:09 · 4074 阅读 · 0 评论 -
hive官方文档翻译
概念 Hive是什么 Hive是一个基于Apache Hadoop的数据仓库。对于数据存储与处理,Hadoop提供了主要的扩展和容错能力。 Hive设计的初衷是:对于大量的数据,使得数据汇总,查询和分析更加简单。它提供了SQL,允许用户更加简单地进行查询,汇总和数据分析。同时,Hive的SQL给予了用户多种方式来集成自己的功能,然后做定制化的查询,例如用户自定义函数(User D原创 2017-09-16 22:26:23 · 14056 阅读 · 0 评论 -
hive导入和导出的几种方式
hive表导入方式: 1)加载本地文件到hive表 load data local inpath '本地文件路径' into tabble 表名; 2)加载hdfs文件到hive表 load data inpath 'hdfs文件路径' [overwrite] into table 表名; 加上overwrite的话便会重写表的数据 3)加载已有数据 insert into t原创 2017-09-17 13:47:18 · 1075 阅读 · 0 评论