- 博客(5)
- 收藏
- 关注
RSS订阅原创 shell遍历文件夹及去掉文件后缀名
#!/bin/bashpath=`pwd`echo $path;files=$(ls $path)for filename in $filesdo filename=${filename%.*} echo $filenamedone
2019-10-31 22:43:52
4658
原创 HDFS详解
第1章 HDFS概述1.1 HDFS产生背景随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。1.2 HDFS概念HDFS（HadoopDistributedFileSystem），它是一个分布式文件管理......
2019-10-31 11:18:44
4511
原创 MapReduce详解
第1章 MapReduce入门1.1 MapReduce定义Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。1.2MapReduce优缺点1.2.1 优点1．MapReduce易于编......
2019-10-30 22:48:09
12561
3
原创 Linux下Hive的安装过程
Hive的安装过程资源下载安装 下载地址1、将apache-hive-0.14.0-bin.tar.gz上传到/usr/local下2、执行tar -zxvf apache-hive-0.14.0-bin.tar.gz 解压缩3、执行mv apache-hive-0.14.0-bin hive重命名；配置环境变量1、备份 在hive文件下的confi...
2019-10-30 20:27:23
960
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人