- 博客(8)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Hadoop(五) HDFS 序列化 压缩 存储文件类型
目录Hadoop 序列化Hadoop序列化定义步骤示例Hadoop 压缩为什么要在Hadoop中引入压缩Hadoop 支持的压缩类别各种压缩方式详解Gzip压缩lzo压缩snappy压缩bzip2压缩压缩参数配置存储文件类型SequenceFileSequenceFile简介SequenceFile 文件的结构SequenceFi...
2019-11-17 11:58:53
423
转载 Snappy安装
1. 功能说明使用snappy压缩来提升mapreduce和hbase的性能。其实就是用CPU换IO吞吐量和磁盘空间。配置并使用snappy有如下几点要求：首先需要hadoop集群的native库已经收到编译好，并且添加了对snappy的支持。编译hadoop源码之前安装了snappy并且编译时指定-Drequire.snappy参数。（我使用的版本是hadoop-2.5.0-cdh5....
2019-11-17 11:26:25
3119
转载 LZO的安装
hadoop-lzo的安装:----------------------1.本地库的安装 获取到安装包lzo-2.10.tar.gz 后 执行下列命令: tar -zxvf lzo-2.06.tar.gz -C /opt/tool/ cd /opt/tool/lzo-2.06/ ...
2019-11-17 11:21:11
1627
原创 Hadoop(四) MapReduce 原理
目录MapReduce的核心思想Hadoop MapReduceInputFormatTextInputFormatKeyValueTextInputFormatNLineInputFormat自定义InputFormatJob提交过程FileInputFormat切片大小的参数配置获取切片信息APIMapTask的个数Partitioner默...
2019-11-16 23:42:23
997
原创 Hadoop(三) HDFS 使用
目录准备工作HDFS API的使用org.apache.hadoop.fs.FileSystemorg.apache.hadoop.fs.Pathorg.apache.hadoop.fs.FsStatusorg.apache.hadoop.fs.FileStatusorg.apache.hadoop.fs.FSDataInputStreamorg.apache.ha...
2019-11-16 07:52:44
932
原创 Hadoop(二) HDFS 底层原理解析
目录HDFS概念HDFS优缺点优点缺点HDFS 架构/角色Client：客户端NameNode：master，它是一个主管、管理者DataNodeSecondary NameNodehdfs启动过程启动脚本分析HDFS启动过程--源码分析HDFS 文件块大小HDFS的元数据管理NameNode 元数据存储机制查看编辑日志hdfs...
2019-11-14 23:18:49
1714
原创 mysql 运算符，常用函数
mysql常用函数介绍参考：http://c.biancheng.net/mysql/function/目录MySQL 运算符数值型函数mysql字符串函数myslq日期和时间函数mysql聚合函数mysql流程控制函数MySQL 运算符算术运算符+ 加法- 减...
2019-11-13 16:48:26
499
原创 mysql 基础操作
mysql是一种常用的数据库，基本使用见下参考：http://c.biancheng.net/mysql/库操作 1.创建 create database db2 charset utf8; 2.删除库 drop database db2; 3.使用(进入) use db2; 4.查看库 show databases; 查看数...
2019-11-13 16:46:11
205
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人