恒

不放心文件是否完整地传输到 hdfs 上，需要校验本地文件和 hdfs 上是否完全一致。同。本文提供了方法从而证明二个文件完全一致。

我的大数据开发第5章：ansible 离线安装介绍ansible是基于 python （2.7， 3.x）的一套完整的自动化执行任务模块，是一款简单的运维自动化工具，只需要使用ssh协议连接就可以来进行系统管理，自动化执行命令，部署等任务。ansible不需要单独安装客户端，也不需要启动任何服务。ansible playbook 采用yaml配置，对于自动化任务执行过一目了然。ansible组成结构:ansible： 是ansible的命令工具，核心执行工具；一次性或临时执行的操作都是通过该命令执

目录我的大数据开发第2章：初步了解Flink0. 引言1. 搭建Flink开发环境2. 启动Flink3. Flink批处理任务4. Flink流处理任务5. 关闭Flink集群6.Flink on YARNYARN简介在YARN上部署FlinkFlink on YARN 提交任务第一种任务提交测试第二种任务提交测试(推荐)5. 总结我的大数据开发第2章：初步了解Flink关于如何快速搭建一个 Flink 学习和测试环境，请参考第1章。0. 引言传统的大数据架构靠堆叠各种组件来实现数据处理流程上的各

hadoop 单节点伪集群安装在一个节点机器上部署一个hadoop集群，可用于开发环境，简单易行。os为centos7虚拟机（hostname=hacl-node1)。0 主机配置vi /etc/hostnamehacl-node1vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hacl-node1必须能免密码 ssh 登录本机：ssh localhost如果提示输入密码，则需要：ssh-keygen -

安装 hbase 单机版为了开发和测试的目的，安装 hbase 单机版。很简单，不需要 hdfs，只要下载 hbase 的 bin 包，改2个配置文件就可以。当然前提是 java 已经安装。1 下载 hbasehttp://mirror.bit.edu.cn/apache/hbase/2.1.3/hbase-2.1.3-bin.tar.gz程序解压到: /data/hbase-root/...

centos7(el7) 离线安装 saltstack内网机集群无法上外网，此时需要离线安装 saltstack。首先准备一台可以上外网的跳板机，配置和内网机一样的系统，为 centos7.2。登录跳板机。下载并安装：# wget http://repo.saltstack.com/yum/redhat/salt-repo-2018.3-1.el7.noarch.rpm# rpm -...

cent0S 7 安装 cdh5.13 笔记之五： 配置 hbase15 HBase 配置3台机器上安装了hbase：n1(cent7-n1.pepstack.com): hbase-master, hbase-regionservern2(cent7-n2.pepstack.com): hbase-master, hbase-regionservern3(cent7-n3.pepst

cent0S 7 安装 cdh5.13 笔记之三：安装 hadoop-hdfs

hadoop namenode格式化问题汇总（持续更新）0 Hadoop集群环境3台rhel6.4，2个namenode+2个zkfc, 3个journalnode+zookeeper-server 组成一个最简单的HA集群方案。1) hdfs-site.xml配置如下：<!-- Quorum Journal Manager HA: http://archive.cloudera.com/

Hadoop之HBase快速入门cheungmine2012-4-20本文解决单机（standlone）运行HBase的故障问题。读者可以快速领略HBase的基本Shell命令。第一步 准备软件机器环境：Ubuntu11.10+JDK1.6下载软件：hbase-0.92.1.tar.gz我的用户名为：cl我的机器名为：thinkpad-zh解压缩hbase：$ tar xzf /home/cl/D

一个Java写的用来构建金字塔影像的Bitmap类cheungmine2012下面每个图像都是256x256像素。目的就是把这4幅影像合成一个256x256的图像，即：Ln+1 = Fn(00, 01, 10, 11);Ln+1表示第n+1层金字塔图像块。它是在第n层金字塔的基础上创建的。处理前的第n层金字塔（4个瓦片）:00 |  01----------10 |  11      处理后的第

* 文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * * 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt * * 删除目录与目录下所有文件 * $ hadoop dfs -rmr /user/cl/temp * * 上传文件 *

cdh5 hadoop redhat 本地仓库配置cdh5 在网站上的站点位置：http://archive-primary.cloudera.com/cdh5/redhat/6/x86_64/cdh/在RHEL6上配置指向这个repo非常简单，只要把：http://archive-primary.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh

在生产环境上安装Hadoop高可用集群一直是一个需要极度耐心和体力的细致工作。尽管有很多文档教会大家怎么一步一步去完成这样的工作，但是百密也有一疏。现成的工具不是没有，但是对于我这个喜欢了解细节的人来说，用别人的东西，写的好还可以，写的不好，出了问题，查找错误难之又难。手工安装Hadoop集群需要对Linux有一定的使用经验。对于完全没有接触Linux的人来说，肯定是望而生畏的。因此本文写作的目的就是讲述如何在真实的场景中安装部署最新版本的Hadoop集群。同时也是我做Hadoop自动化安装脚本的过程全记录

菜鸟玩云计算之十九：Hadoop 2.5.0 HA 集群安装第2章