![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
小柒sy
留传多少年,陈旧还是孤胆坚守,说不清是强是弱的老古董
展开
-
初识Hadoop
文章目录初识Hadoop初识Hadoop大数据是由结构化和非结构化数据组成。非结构化占比90%左右,通常是指图像、音频等。技术支撑大数据的兴起需要的技术支撑:存储计算网络1GB=1024MB,1TB=1024GB,1PB=1024TB大数据的特性当提到大数据的典型特性时,通常是4V:Variety(多样化)Velocity(快速化)Volume(大量化)Va...原创 2019-06-04 14:14:24 · 285 阅读 · 0 评论 -
Hadoop权威指南
文章目录Hadoop权威指南1. 初识HadoopHadoop权威指南1. 初识Hadoop初识Hadoop原创 2019-06-04 14:15:06 · 647 阅读 · 0 评论 -
Hadoop分布式文件系统
文章目录Hadoop分布式文件系统1. HDFS的设计2. HDFS的概念Hadoop分布式文件系统1. HDFS的设计HDFS实现目标:兼容廉价的硬件设备实现流数据读写支持大数据集支持简单的文件模型强大的跨平台兼容性HDFS局限:不适合低延迟数据访问无法高效存储大量小文件不支持多用户写入及任意的修改文件2. HDFS的概念数据块每个磁盘都有默认的数据块大...原创 2019-06-20 22:26:18 · 557 阅读 · 0 评论 -
java远程登录hdfs
有时候,可能需要通过远程操作hdfs,比如在本地操作云服务器上的hdfs。step 1:将云服务上的hadoop环境中的jar下载到本地,一般的路径是:hadoop/share/hadoop.这里我将hadoop安装在了/usr/local,所以完整路径是/usr/local/hadoop/share/hadoopstep 2:将jar包加载到idea(这里使用的idea)具体步骤:右...原创 2019-06-17 21:44:59 · 549 阅读 · 0 评论 -
第二章 大数据处理框架 Hadoop
文章目录hadoop简介企业应用选择Hadoop版本的参考因素Hadoop项目结构Hadoop安装Hadoop集群基准测试hadoop简介空~hadoop有两大核心HDFSMapReducehadoop特性高可靠性、高效性、高可扩展性企业应用hadoop不同版本Apache Hadoophadoop1.0到2.0的变化选择Hadoop版本的参考因素是否开...原创 2019-06-12 13:04:18 · 272 阅读 · 0 评论 -
使用命令行编译打包运行自己的MapReduce程序
使用命令行运行mapreduce程序在~/.bashrc 中增加如下几行中添加:export HADOOP_HOME=/usr/local/hadoopexport CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH执行source ~/.bashrc通过hadoop classpath可以得到Hadoop所需要的全部...原创 2019-07-09 21:37:57 · 967 阅读 · 0 评论 -
在mac docker上安装gitlab
安装过程装docker这里使用的是菜鸟教程mac docker安装拉取gitlab镜像docker pull gitlab/gitlab-ce#通过下面的命令查看镜像,如果有gitlab说明pull成功docker images运行容器sudo docker run -d \--hostname localhost \--name gitlab \--resta...原创 2019-07-09 22:10:33 · 2364 阅读 · 0 评论 -
关于YARN
YARN的介绍原创 2019-07-07 13:36:32 · 751 阅读 · 0 评论