apache-hadoop
hadoop学习随笔
思诺的小世界
世界上没有最好的编程语言,只有最适合具体场景的语言。
展开
-
MapReduce自定义WordCount实现案例 (入门)
1. 准备工作1.1 远程文件准备(1) 创建数据文件[hadoop@hadoop181 ~]$ mkdir mapreduce[hadoop@hadoop181 ~]$ cd mapreduce/# 创建文件[hadoop@hadoop181 mapreduce]$ vim wordcount.txt# 新增文件内容[hadoop@hadoop181 mapreduce]$ cat wordcount.txt hello,world,hadoophive,sqoop,flume,h原创 2020-09-12 11:03:22 · 223 阅读 · 0 评论 -
HDFS的SHELL客户端高级操作
1. 文件限额2. 管理员操作命令2.1 dfsadmin 工具这个工具用途比较广泛, 可以查看HDFS 状态信息, 也能执行管理操作2.1.1 安全模式(1) 查看是否处于安全模式[hadoop@hadoop181 ~]$ hdfs dfsadmin -safemode get Safe mode is OFF in hadoop181/192.168.207.181:9000Safe mode is OFF in hadoop182/192.168.207.182:9000Safe原创 2020-09-11 11:31:21 · 2304 阅读 · 0 评论 -
apache版本的hadoop源码编译(添加snappy的支持)
1. 虚拟机准备(1) 硬件要求硬件大小CPU没啥要求内存> 4G磁盘> 40G(2) 软件要求我用的是CentOS7,要求是64位操作系统软件大小系统64位2. 编译环境的准备2.1 准备linux 环境2.2 虚拟机网络配置(1) 配置联网模式要求虚拟机可以连接外网(2) 配置ip地址# 修改ip地址vim /etc/sysconfig/network-scripts/ifcfg-en原创 2020-09-10 19:38:27 · 228 阅读 · 0 评论 -
HDFS之JAVA客户端操作
1. HDFS 客户端准备(1)准备hadoop 的 安装包 , 我这里用的hadoop-2.7.2 的版本(2)需要配置的环境变量 有 HADOOP_HOME 和 PATH 变量(2)配置hadoop 的 HADOOP_HOME 路径(3)配置PATH路径2. 创建工程(1) 创建maven模块我这里创建了 hdfs-core(2)增加pom依赖 <dependencies> <dependency> <g原创 2020-09-08 23:54:29 · 280 阅读 · 0 评论 -
HDFS的SHELL操作
1. HDFS 常用命令1.1 基本格式(1)hadoop fs命令的方式执行hadoop fs 具体还是会调用hdfs的相关命令的,等同于hadoop dfs# 使用fs 命令不会有警告[hadoop@hadoop181 ~]$ hadoop fs -ls /Found 4 itemsdrwxr-xr-x - hadoop supergroup 0 2020-09-05 11:34 /datadrwxr-xr-x - hadoop supergroup原创 2020-09-08 14:50:37 · 266 阅读 · 0 评论 -
HDFS原理图示
1. 基本介绍1.1 HDFS 组件描述1.2 HDFS 读取文件过程1.3 HDFS 写数据流程原创 2020-09-08 11:04:36 · 219 阅读 · 0 评论 -
YARN HA 环境搭建
1. 主机与服务规划1.1 主机规划主机IPHostNameCPUMEMERYUSERPWDhadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182hadoop1824 CORE8Ghadoophadoophadoop183192.168.207.183hadoop1834 CORE8Ghadoophadoop1.2 服务规原创 2020-09-04 11:56:56 · 363 阅读 · 0 评论 -
HDFS HA 集群搭建实录
1. 主机与服务规划1.1 主机规划主机IPHostNameCPUMEMERYUSERPWDhadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182hadoop1824 CORE8Ghadoophadoophadoop183192.168.207.183hadoop1834 CORE8Ghadoophadoop1.2 服务规原创 2020-09-03 16:34:14 · 617 阅读 · 0 评论 -
hadoop集群搭建实录
1. 主机准备1.1 主机规划主机IPHostNameCPUMEMERYUSERPWDhadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182hadoop1824 CORE4Ghadoophadoophadoop183192.168.207.183hadoop1834 CORE4Ghadoophadoop1.2 主机初始化原创 2020-09-02 19:21:29 · 165 阅读 · 0 评论