![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
caroline_richboom
大数据小白的自学之路
展开
-
初学hadoop——Hive Java API的使用
以词频统计算法为例,来介绍怎么在具体应用中使用Hive一、 创建input目录,output目录会自动生成其中input为输入目录,output目录为输出目录。命令:cd /usr/local/hadoopmkdir input二、 在input文件夹中创建两个测试文件file1.txt和file2.txt命令:cd /usr/local/hadoop/inputecho "hello world" > file1.txtecho "hello hadoop" > fi原创 2020-10-21 13:13:46 · 437 阅读 · 0 评论 -
初学Hadoop——Hive命令行客户端使用
一、Hive简介Hive是一个基于HDFS和MapReduce的分布式数据仓库系统,以表的形式管理用户数据,用户只需要编写HQL语句就能够利用MR对存放在HDFS上的数据进行计算(Hive会将HQL语句自动转换为MR作业,提交给MR执行),降低了学习成本。此实验指导用户如何使用Hive提供的命令行客户端连接HiveServer,并通过HQL语句实现内部表、外部表、分区分桶表的创建、删除、修改、数据的导入导出、数据的查询等操作。二、 Hive的安装(1) 下载并解压hive源程序直接在虚拟机中原创 2020-10-21 11:40:07 · 4567 阅读 · 0 评论 -
初学Hadoop——MapReduce Java API的使用
一、MapReduce简介MapReduce是面向大数据并行处理的计算模型、框架和平台,它有以下三层含义:(1) MapReduce是一个基于集群的高性能并行计算平台它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。(2) MapReduce是一个并行计算与运行软件框架它提供了一个庞大但设计精良的并行计算软件框架,能自动完成计算任务的并行化处理,自动划分计算数据和计算任务,在集群节点上自动分配和执行任务以及收集计算结果,将数据分布存储、数据通信、容错处理等并行计原创 2020-10-20 21:13:53 · 1890 阅读 · 1 评论 -
初学Hadoop——HBase Java API的使用
使用Eclipse编写java程序,来对HBase数据库进行增删改查等操作,Eclipse可以在Ubuntu软件中心搜索下载并安装。一、 启动hadoop和hbasestart-dfs.shstart-hbase.sh二、新建Java工程和项目(文件)在eclipse中新建Java工程和项目(文件)(1)新建java工程(2) 新建java class文件右击工程->new->class三、 在工程中导入外部jar包这里只需要导入hbase安装目录中的lib文原创 2020-10-20 20:33:27 · 1189 阅读 · 0 评论 -
初学Hadoop——HBase命令行客户端使用
一 、HBase简介HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable:一个结构化数据的分布式存储系统》。HBase以表的形式存储数据,表由行和列组成,列划分为若干个列族/列簇(column family)。HBase的运行有三种模式:单机模式、伪分布式模式、分布式模式:单机模式:在一台计算机上安装和使用HBase,不涉及数据的分布式存储;伪分布式模式:在一台计算机上模拟一个小的集群;分布式模式:使用多台计算机实现物理意义上的分布式存储。这里出于学习目的。原创 2020-10-20 20:10:55 · 1527 阅读 · 0 评论 -
初学Hadoop——HDFS Java API 的使用、在linux中安装eclipse
Hadoop不同的文件系统之间通过调用Java API进行交互,实验一中介绍的Shell命令,本质上也就是Java API的应用。Hadoop官方的Hadoop API文档,可以访问如下网站,查看各个API的功能:网站链接一、 Eclipse的安装利用Java API进行交互,需要利用软件Eclipse编写Java程序。这里我使用的在Ubuntu中安装eclipse。(1)在Ubuntu的边栏打开软件中心(2)在软件中心搜索栏输入“ec”,软件中心会自动搜索相关的软件点击图中的eclips原创 2020-10-20 19:43:02 · 4651 阅读 · 1 评论 -
初学Hadoop——HDFS命令行客户端使用
一、HDFS简介及其基本概念HDFS(Hadoop Distributed File System)是hadoop生态系统的一个重要组成部分,是hadoop中的存储组件,在整个Hadoop中的地位非同一般,是最基础的一部分,因为它涉及到数据存储,MapReduce等计算模型都要依赖于存储在HDFS中的数据。HDFS是一个分布式文件系统,以流式数据访问模式存储超大文件,将数据分块存储到一个商业硬件集群内的不同机器上。二、实验环境操作系统:Ubuntu64位Hadoop版本:Hadoop 2.7.1J原创 2020-10-20 15:12:50 · 690 阅读 · 0 评论