大数据(hadoop)
文章平均质量分 90
wang609128516
这个作者很懒,什么都没留下…
展开
-
Hadoop 安装&配置
由于近两年随着互联网的高速发展,产生的数据量也想到惊人,从而产生了对大数据处理的框架,以下是Linux对hadoop 的安装与配置步骤为大家分享! 下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 解压 tar –zxvf hadoop-2.5.2 配置环境变量:vi /etc/profile export ...原创 2015-05-28 17:05:48 · 91 阅读 · 0 评论 -
Hadoop+ eclipse 整合运行
问题解决方案 cd hadoop安装路径/ect/hadoop 修改hdfs-site.xml加上以下内容 <property> <name>dfs.permissions</name> <value>false</value> </property> 旨在取消权限检查,原因是为了解决我在windo...原创 2015-05-28 17:36:08 · 168 阅读 · 0 评论 -
Hive 安装&配置及常见问题解决
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 前提安装了hadoop 下载地址: http://apache.fay...原创 2015-06-15 12:38:12 · 708 阅读 · 0 评论 -
sqoop 安装&配置
由于前面已经把 hadoop 安装并成功配置应用,下面继续对sqoop 安装与配置。 Sqoop是一款开源的工具,主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 ...原创 2015-06-15 12:39:46 · 216 阅读 · 0 评论 -
Hbase 安装与配置
百度百科:HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不...原创 2015-06-26 15:22:23 · 226 阅读 · 0 评论