浮生、佐以酒

1)添加sudo权限的无密码访问的hadoop用户[root@hadoop002 ~]# useradd hadoop[root@hadoop002 ~]# cat /etc/sudoers |grep hadoophadoop ALL=(ALL) NOPASSWD: ALL[root@hadoop002 ~]# [root@hadoop002 ~]# su - hadoo...

端口Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:组件 节点 默认端口 配置 用途说明 HDF...

目录

目录集群规划Hadoop HA部署：1）软件环境2）系统环境准备3）配置SSH通信4）配置环境变量5）配置zookeeper6）配置Hadoop7）启动集群8）启动关闭顺序9）Hadoop HA部署避坑指南集群规划主机安装软件进程hadoop001Hadoop、ZookeeperNameNode DFSZKFailoverController...

目录准备测试数据压缩数据&建立索引文件以wordcount的input运行MapReduceLZO索引说明准备测试数据因为默认的block是128M大，上传了一份小数据只有19M需要扩大，通过shell脚本解决。1.编写shell脚本[hadoop@192 data]$ touch create_data.sh[hadoop@192 data]$ vi create...

目录环境安装&编译配置Hadoop支持LZO环境Centos 6.5 64位JDK1.8Hadoop-2.6.0-cdh5.7.0LZO2.1.0包hadoop-lzoMaven3.6.0安装&编译1.安装依赖并下载lzo包[hadoop@192 sbin]$ sudo yum -y install lzo-dev

HDFS读流程客户端通过分布式FileSystem.open(path)方法，与NameNode之间进行RPC通信，其中open方法会将一个path传递过去，这个path就是我们要查看的文件或文件夹的路径.NameNode会对这个path进行校验，判断是否存在这个路径，以及是否拥有相应的权限去读取。校验完后返回一个FSDataInputStream对象，当要读取client需再次向N...

目录HDFS架构Namenode&DataNode&SecondaryNameNode副本存放策略HDFS为主/从架构，主要由管理文件系统的NameNode和存储数据的DataNode组成。NameNode介绍及作用 :NameNode维护以下内容a. 管理文件名称b. 管理文件目录结构c. 管理文件属性（创建时间、权限、副本数等）d. 文件对应哪...

环境准备系统:Centos6.5 64位JDK1.7Maven：3.6.0Hadoop源码：Hadoop2.6.0-cdh5.7.0.src.tar.gzProtocol Buffer 2.5.0Jar依赖包安装Protocol Buffer 2.5.0root权限安装依赖包$ yum install -y gcc gcc-c++ make cmake指定安装目录...

在执行hadoop命令的时候出现如下错误，不能加载Hadoop库WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable检查发现本地并没有库[hadoop001@192 ~]$ hado...

在Windows下IDEA操作Hadoop报如上错误。Hadoop2.6.0-CDH5.14.0安装包:链接: https://pan.baidu.com/s/1sgz4lnaqp3W8-mnS_MmRZw 提取码: wm7fhadoop.dll文件：链接: https://pan.baidu.com/s/1GvJgZq0dLQQShWNUCeV9hg 提取码: wgh9解决方法：S...