hadoop
关注
分享
扫一扫
不要跟我说对不起
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
学习篇-Hadoop-Hive-DDL操作
文章目录一、Hive-DDL1. Hive-DDL-数据库2. Hive-DDL-表 一、Hive-DDL 官网地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL DDL：全称-Data Definition Language create、delete、alter 1. Hive-DDL-数据库 创建数据库 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_n原创 2020-05-09 14:35:07 · 1673 阅读 · 0 评论 -
学习篇-Hadoop-Hive-快速入门
文章目录一、Hadoop-Hive-快速入门 一、Hadoop-Hive-快速入门 启动Hive hive-创建数据库 create database test_db; 如何查看 连接mysql数据库 mysql -uroot -p 输入密码 查看hive数据库 show databases; 这边的数据库名称是hive-site.xml配置的数据库名称 使用h...原创 2020-05-07 22:23:49 · 1914 阅读 · 0 评论 -
学习篇-Hadoop-Hive-环境部署
文章目录一、Hadoop-Hive-环境部署 一、Hadoop-Hive-环境部署 下载网址：http://archive.cloudera.com/cdh5/cdh/5/ 下载注意需要跟hadoop保持同一版本 wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1.tar.gz 上传到服务器 scp hiv...原创 2020-05-05 22:25:00 · 1971 阅读 · 0 评论 -
学习篇-Hadoop-Hive-基础理论
一、Hadoop-Hive-基础理论 1. Hive-产生背景 MapReduce编程的不便性 传统RDBMS人员的需要 2. Hive-概述 什么是Hive 官方定义：The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in...原创 2020-05-05 21:25:25 · 1692 阅读 · 0 评论 -
学习篇-Hadoop-YARN-任务运行
文章目录一、Hadoop-YARN-任务运行1. 运行官方案例到yarn上2. 运行自定义作业到yarn上 一、Hadoop-YARN-任务运行 1. 运行官方案例到yarn上 进入hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreduce2目录 运行案例 命令 # 简单运行案例 hadoop jar hadoop-mapreduce-examples...原创 2020-05-04 08:12:12 · 2243 阅读 · 0 评论 -
学习篇-Hadoop-YARN-环境搭建
文章目录一、Hadoop-YARN-环境搭建 一、Hadoop-YARN-环境搭建 官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 配置：etc/hadoop/mapred-site.xml <configuration> <...原创 2020-05-03 12:36:36 · 2001 阅读 · 0 评论 -
学习篇-Hadoop-YARN-基础理论
文章目录一、Hadoop-YARN-产生背景二、Hadoop-YARN-概述三、Hadoop-YARN-架构四、Hadoop-YARN-执行流程 一、Hadoop-YARN-产生背景 MapReduce1.x ===> MapReduce2.x master/slave：JobTracker/TaskTracker 存在问题 JobTracker是单节点的 压力大 仅仅只能支持ma...原创 2020-05-03 08:23:03 · 1642 阅读 · 0 评论 -
学习篇-Hadoop-MapReduce-流量统计
文章目录一、Hadoop-MapReduce-流量统计-需求分析二、Hadoop-MapReduce-流量统计-代码实现三、Hadoop-MapReduce-流量统计-Partitioner 一、Hadoop-MapReduce-流量统计-需求分析 现有一份access.log日志文件 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.19...原创 2020-05-02 18:00:00 · 2298 阅读 · 1 评论 -
学习篇-Hadoop-MapReduce-词频统计
文章目录一、Hadoop-MapReduce-词频统计-Mapper二、Hadoop-MapReduce-词频统计-Reducer三、Hadoop-MapReduce-词频统计-Driver 一、Hadoop-MapReduce-词频统计-Mapper 简要说明：Maps input key/value pairs to a set of intermediate key/value pairs....原创 2020-04-30 08:24:43 · 4113 阅读 · 0 评论 -
学习篇-Hadoop-MapReduce
文章目录一、MapReduce概述二、MapReduce编程模型三、MapReduce编程模型的执行步骤四、MapReduce编程模型的核心概念 一、MapReduce概述 源自于Google的MapReduce论文，论文发表于2004年12月 Hadoop MapReduce是Google MapReduce的克隆版 MapReduce优点：海量数据离线处理&易开发&易运行 M...原创 2020-04-30 08:22:04 · 1710 阅读 · 0 评论 -
学习篇-Hadoop-HDFS-存放策略
文章目录一、Hadoop-HDFS-存放策略二、HDFS-写数据的流程三、HDFS-读数据的流程四、HDFS-元数据管理-checkpoint五、HDFS-safemode 一、Hadoop-HDFS-存放策略 官网解释：HDFS’s placement policy is to put one replica on the local machine if the writer is on a ...原创 2020-04-29 19:09:43 · 1849 阅读 · 0 评论 -
学习篇-Hadoop-HDFS-API-综合案例
综合性的HDFS实战：使用HDFS Java API才完成HDFS文件系统上的文件的词频统计。 举例：/path/1.txt hello word hello /path/2.txt hello word word ==> (hello,3) (word,3) 将统计完的结果输出到HDFS上去。 功能拆解： 读取HDFS上的文件 ==> HDFS API 业务处理（词频统计）：对...原创 2020-04-28 13:06:26 · 1759 阅读 · 0 评论 -
学习篇-Hadoop-HDFS-API-相关文件操作
文章目录一、HDFS-API-create写入文件内容二、HDFS-API-rename文件名三、HDFS-API-copyFromLocalFile拷贝本地文件到hdfs四、HDFS-API-带进度拷贝大文件五、HDFS-API-copyToLocalFile拷贝文件到本地六、HDFS-API-listStatus查看文件目录七、HDFS-API-listFiles递归查看文件目录八、HDFS-...原创 2020-04-27 16:26:19 · 1890 阅读 · 0 评论 -
学习篇-Hadoop-HDFS-API-open读取文件
文章目录一、HDFS-API-open读取文件1. 准备数据和代码实现2. 出现的问题 一、HDFS-API-open读取文件 1. 准备数据和代码实现 基于阿里云搭建的hadoop环境，先查看文件路径，命令：hadoop fs -ls / 读取根目录下的README.txt Java代码：通过fileSystem对象open方法打开hdfs的文件 // 打开阿里云hadoop服务根目录的REA...原创 2020-04-27 12:18:56 · 2499 阅读 · 0 评论 -
学习篇-Hadoop-HDFS-API-mkdir创建目录文件
文章目录一、HDFS-API-mkdir创建目录文件 一、HDFS-API-mkdir创建目录文件 使用HDFS API的方式来操作HDFS文件系统 创建maven骨架项目工程 在pom.xml文件中添加依赖 # properties节点中添加版本控制 <!--定义Hadoop版本--> <hadoop.version>2.6.0-cdh5.15.1</hadoo...原创 2020-04-26 23:38:22 · 4064 阅读 · 0 评论 -
学习篇-Hadoop-单机单节点环境搭建.md
文章目录一、Hadoop-环境搭建 一、Hadoop-环境搭建 使用的Hadoop相关版本：CDH 注意选择一个版本之后，所有后续集成框架的版本都是对应的版本 CDH相关软件包下载地址： http://archive.cloudera.com/cdh5/cdh/5/ 单节点搭建 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cd...原创 2020-04-25 22:57:54 · 1662 阅读 · 0 评论