- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hafs简单Api调用
简单API介绍**github传送门（持续更新）：**https://github.com/xiajie520/hadoop-demo.git我这里用的是父子工程父工程pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
2021-07-01 23:54:34
141
原创 hdfs入门介绍
HDFS入门最近加班比较多，差点鸽了自己 /悲伤脸一、HDFS基础1、HDFS优缺点一、优点1）高容错性数据自动保存多个副本。它通过增加副本的形式，提高容错性。某一个副本丢失以后，它可以自动恢复。2）适合处理大数据数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；文件规模：能够处理百万规模以上的文件数量，数量相当之大。3）可构建在廉价机器上，通过多副本机制，提高可靠性。二、缺点1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。2）无法高效的对大量小文件进行
2021-06-28 23:49:05
121
原创 hadoop基础操作
Hadoop基础操作传送门：hadoop集群搭建 https://blog.csdn.net/gg_xiajie/article/details/118095901前面写完了hadoop集群的安装，算是初步开始学习了。。。本章学习下hadoop的一些基本操作。一、HDFS启动hadoop之后可以打开hdfs的可视化页面http://hadoop01:9870/可视化的文件系统在这里是部分数据我练习的时候插入好了的手动上传文件到hdfs，命令：# 创建文件夹（根目录创建名为input
2021-06-23 22:10:44
1960
原创 hadoop集群搭建
hadoop集群的搭建传送门：本地虚拟机集群的搭建：https://blog.csdn.net/gg_xiajie/article/details/118061715一、JDK安装hadoop集群需要jdk的支持，本次以jdk1.8为例，有多种安装方式，最简单的为yum一键安装yum install ****此次安装选择手动安装的方式1、首先下载jdk包官网地址：https://www.oracle.com/java/technologies/javase/javase-jdk8-down
2021-06-21 22:16:38
249
原创 VMware搭建本地集群环境
VMware搭建本地集群环境Java准备转型大数据，下班自己练习，从hadoop入手，首先搭建集群环境，记录一下安装历程一、虚拟机的安装系统环境：Windows 10虚拟机软件选择：VMware® Workstation 16 Pro虚拟机镜像：CentOS-7-x86_64-DVD-2003附加镜像：cn_windows_7_ultimate_with_sp1_x64_dvd_u_6774081、新建虚拟机1、VMware创建新的虚拟机2、点击下一步：硬件兼容性根据你的VM版本选择
2021-06-20 00:41:24
2370
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人