hadoop学习
hadoop学习
计忆芳华
一个2017年入坑的java小白。
个人博客:jiyifh.top。
展开
-
【大数据学习-实验-4】ubuntu内mongodb的安装与使用
参考文档:https://blog.csdn.net/qq_43925089/article/details/103332699https://www.cnblogs.com/shileima/p/7823434.htmlhttps://blog.csdn.net/weixin_43453386/article/details/83347385mongodb的安装实验使用的NoSQL数据...原创 2020-04-02 16:50:06 · 1564 阅读 · 2 评论 -
【大数据学习-实验-2】分布式文件系统应用
分布式文件系统应用一、 实验目的1. 理解HDFS在Hadoop体系结构中的角色;2. 掌握HDFS操作常用的Shell命令;3. 熟悉HDFS操作常用的Java API。二、 实验内容1.利用Hadoop提供的Shell命令完成以下任务:(1)在Hadoop的/目录下创建一个test1文件夹;(2)在Hadoop的test1文件夹中创建一个file.txt文件;(3)查看H...原创 2020-03-29 14:20:20 · 2031 阅读 · 0 评论 -
【大数据学习-实验-1】 hadoop实验环境搭建和Linux常用基本操作
一、 实验目的1. Linux系统环境搭建;2. 在Linux系统上安装Hadoop及相关应用软件;3. 常用基本操作。二、实验内容1.完成Linux系统环境搭建。2.完成Hadoop及相关应用软件的安装和配置。3.熟悉常用的Linux操作1)cd命令:切换目录(1)切换到目录/usr/local(2)切换到当前目录的上一级目录(3)切换到当前登录Linux系统的用户的自...原创 2020-03-29 11:04:16 · 9275 阅读 · 1 评论 -
HBase JAVA API(大章鱼版)
任务目标1.了解HBase语言的基本语法2.了解HBase开发的原理3.了解HBase Java API的使用相关知识HBase与Hadoop一样,都是用Java编写的,所以HBase对Java支持是必须的,HBase Java API核心类介绍如下:1.HBaseConfiguration类HBaseConfiguration是每一个HBase Client都会使用到的对象,它代...原创 2020-03-29 10:31:54 · 641 阅读 · 0 评论 -
Hadoop Shell基本操作(大章鱼版)
Hadoop Shell基本操作任务目标1.熟练掌握常用的hadoop shell命令相关知识调用文件系统(FS)Shell命令应使用 hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和author...原创 2020-03-29 10:14:49 · 745 阅读 · 0 评论 -
HDFS JAVA API(大章鱼版)
HDFS JAVA API任务目标1.掌握HDFS JAVA API的2.了解JAVA API的执行流程相关知识.HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础篇,为了实现本地与HDFS的文件传输,主要借助Eclipse开发环境,通过java编程实现了远程HDFS的文件创建,上传,下载,删除等。...原创 2020-03-29 09:54:35 · 1116 阅读 · 0 评论 -
Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
环境本教程使用 Ubuntu 18.04 64位 作为系统环境(或者Ubuntu 14.04,Ubuntu16.04 也行,32位、64位均可),请自行安装系统(可参考使用VirtualBox安装Ubuntu)。如果用的是 CentOS/RedHat 系统,请查看相应的CentOS安装Hadoop教程_单机伪分布式配置。使用本教程请确保系统处于联网状态下,部分高校使用星网锐捷连接网络,可能导...转载 2020-03-24 11:42:04 · 1346 阅读 · 0 评论 -
HBase2.2.2安装和编程实践指南
一、HBase介绍HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable:一个结构化数据的分布式存储系统》。HBase以表的形式存储数据,表有行和列组成,列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯,请访问HBase官方网站。HBase的运行有三种模式:单机模式、伪分布式模式、分布式模式。单机模式:在一台计算机上安装和...转载 2020-03-24 11:35:42 · 1634 阅读 · 0 评论