2016年01月_该昵称已经被占用

06月 03月 02月 01月

原创教研室 ftp 文件服务器使用教程

一网页下载模式二 Window 客户端1 连接 FTP 服务端2 下载文件3 新建删除目录4 上传文件三 Linux 客户端1 连接登陆与退出2 下载文件3 上传文件4 创建目录与删除目录或文件一. 网页下载模式在浏览器上键入以下网址即可ftp://10.6.3.43然后单击选择你想要进入的目录，并下载你所需的软件即可，就是不能参加新目录和上传新文件。下载压缩包 FileZil

2016-01-29 21:00:05 1490

原创 FTP 服务器(一)之数据链路原理

FTP (File Transfer Protocol) 可说是最古老的协议之一了，主要是用来进行档案的传输，尤其是大型档案的传输使用 FTP 更是方便！不过，值得注意的是，使用 FTP 来传输时，其实是具有一定程度的『危险性』，因为数据在因特网上面是完全没有受到保护的『明码』传输方式！但是单纯的 FTP 服务还是有其必要性的，例如很多学校就有 FTP 服务器的架设需求啊！一 FTP 功

2016-01-29 20:19:50 2926

原创 FTP 服务器(二)之vsftpd 服务器基础设定

终于要来聊一聊这个简单的 vsftpd 啰！vsftpd 的全名是『Very Secure FTP Daemon 』的意思，换句话说，vsftpd 最初发展的理念就是在建构一个以安全为重的 FTP 服务器呢！我们先来聊一聊为什么 vsftpd 号称『非常安全』呢？然后再来谈设定吧！一为何使用 vsftpd1 vsftpd 服务器介绍2 vsftpd 特点二所需要的软件以及软

2016-01-29 20:19:23 1269

原创 FTP 服务器(三)之客户端的图形接口 FTP 联机软件

客户端的联机软件主要有文字接口的 ftp 及 lftp 这两支指令，详细的使用方式请参考第五章常用网络指令的说明。至于 Linux 底下的图形接口软件，可以参考 gftp 这支程序喔！图形接口的啦！很简单啊！那 Windows 底下有没有相对应的 FTP 客户端软件？一 Filezilla二通过浏览器取得 FTP 联机三让 vsftpd 增加 SSL 的加密功能1 检查 vsft

2016-01-29 20:18:39 1919

原创 FTP 服务器(四)之实战搭建

先前,我总结了一篇关于ubuntu下建立ftp的方法,可发现在建立后连接ftp仍然连接不上.很懊恼!在命令行下连接ftp提示错误:500 OOPS: vsftpd: refusing to run with writable anonymous root于是,在网上找了找,才知道,是分享目录权限的问题.vsftpd出于安全考虑对 /home/ftp是不允许没有限制的，这导致了上述错误的

2016-01-29 20:17:30 1816

原创 FTP 服务器(五)之客户端命令

参考博客：FTP 服务器(一)之数据链路原理：http://blog.csdn.net/u011414200/article/details/50598134FTP 服务器(二)之vsftpd 服务器基础设定：http://blog.csdn.net/u011414200/article/details/50598154FTP 服务器(三)之客户端的图形接口 FTP 联机软件：http://b

2016-01-29 20:16:28 1436 1

原创 Centos6.5 网络配置

网络配置本教程配置说明以下为本教程安装时的配置，用户根据实际情况进行调整 * 在root用户权限下安装下完成 * IP地址设置为 10.10.108.160 * 本机DNS设置为 8.8.8.8 * 主机名设置为 name1. 配置静态IP地址A. 以管理员身份root登陆Centos6.5 服务器su root B. 首先vim编辑eth0的配置文件vim /etc/sysconfi

2016-01-28 21:18:47 2494

翻译欢迎来到 Apache Hadoop®!

官网地址：http://hadoop.apache.org/一 Hadoop是什么呢二开始三下载 Hadoop四谁使用Hadoop一. Hadoop是什么呢？Apache™ Hadoop®的项目开发开源软件可靠，可扩展，分布式计算。Apache Hadoop 软件库是一个允许跨集群用简单的模型对于大数据的分布式处理的框架。它的目的是扩大从单一服务器到成千上万的机器，提供每个本地计算和存

2016-01-26 21:45:03 858

有时候会遇到 Windows 无法连接到无线网络的问题，导致这种情况的原因有可能是因为无线网络的密码变了，也有可能是系统自身的问题。下面简单介绍下怎么解决这个问题的方法。此时请点击系统右下方任务栏区域中的无线网络图标，然后再点击“打开网络和共享中心”选项，如图所示在网络共享中心窗口中，点击左侧的“管理无线网络”选项，如图所示随后会显示当前电脑曾经连接成功的所有无线网络，选择当前不能连接的网络，再点击

2016-01-26 14:15:59 1842

转载 MapReduce job.setNumReduceTasks(0)思考

一概述二 jobsetNumReduceTasks0唯一影响的是map结果的输出方式1 有 reduce2 无 reduce三总结一. 概述本文转自 http://zy19982004.iteye.com/blog/2068112?utm_source=tuicool&utm_medium=referral在 http://zy19982004.iteye.com/blog/203754

2016-01-26 10:21:22 991

转载 vim 程序编辑器

原文参考鸟哥私房菜 Vim 程序编辑器系统管理员癿重要工作就是得要修改不设定某些重要软件癿配置文件，因此至少得要学会一种以上癿文字接口癿文书编辑器。在所有癿 Linux distributions 上央都会有癿一套文书编辑器就是 vi ，而且很多软件默讣也是使用 vi 做为他们编辑癿接口，因此鸟哥建议您务必要学会使用 vi 这个正觃癿文书编辑器。此外，vim 是迚阶版癿 vi

2016-01-26 09:08:31 995

原创 Hadoop 常见指令

一概述二 HDFS 管理命令 fs三作业管理命令 job四作业提交命令 jar五如何停止正在运行的 Hadoop 程序六附录一. 概述bin 目录下的 Hadoop 脚本是最基础的集群管理脚本，用户可以通过该脚本完成各种功能，如 HDFS 文件管理、MapReduce 作业管理等。该脚本的使用方式：hadoop [--config confdir] COMMAND–config

2016-01-25 23:15:35 3140

转载 Hadoop Shell命令

原文地址：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.htmlFS ShellcatchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkdirmovefromLocalmvputrmrmrsetrepstat

2016-01-25 22:59:23 823

转载 Hadoop 与 Spark 和 HBase 常用配置参数总结

本文转自 http://dongxicheng.org/framework-on-yarn/hadoop-spark-common-parameters/一背景二 MapReduce重要配置参数1 资源相关参数2 容错相关参数3本地运行 mapreduce 作业4 效率和稳定性相关参数三 HBase 相关配置参数四 Spark 相关配置参数1 效率及稳定性相关参数2

2016-01-25 16:10:08 1016

原创 CDH5 Integration with Eclipse

原文转自：https://brucebcampbell.wordpress.com/2014/09/08/cdh5-integration-with-eclipse/笔者按照教程上来了一遍：1.1 前期准备1. 拷贝源码包笔者先从已经部署好的 Hadoop 安装包下将 eclipse-plugin 的包给 copy 到其他路径，为了防止破坏 Hadoop 已部署的安装包。c

2016-01-25 16:09:12 1133

原创 Apache/CDH 版本下 Hadoop 编译 Eclipse 插件总结

一背景介绍二 cloudera CDH5 开发方式及 CDH eclipse 插件编译总结1 hadoop 插件开发方式2 CDH 开发方式三 Hadoop Eclipse 插件制作1 Hadoop25 Eclipse插件制作2 CDH5 Integration with Eclipse3 Hadoop 220 编译 hadoop-eclipse-plugin 插件四各

2016-01-25 16:01:10 2533

原创编译 Hadoop Eclipse Plugin

1.首先从 git 下载源码下载地址： https://github.com/winghc/hadoop2x-eclipse-plugin百度网盘下载：链接：http://pan.baidu.com/s/1o6DMY4U 密码：y95i下载 ant-1.9.6 下载地址：http://mirrors.noc.im/apache//ant/binaries/apache-ant-1

2016-01-25 15:59:19 960

原创配置 hadoop 开发环境+运行 wordcount 程序

一 eclipse 中 hadoop 环境部署概览二前期准备三配置 Hadoop 开发环境四 Eclipse 中直接提交 MapReduce任务1 新建 MapReduce工程2 新建 java 工程五以 Jar 包方式运行1 系统 Export 输出 jar 包2 使用第三方插件 FatJar六参考资料1 FatJar 安装2 参考链接一. eclipse 中

2016-01-14 11:08:32 4039

原创 Centos6.5 VNC 配置

VNC 配置本教程配置说明目的：实现Window下VNC登陆Linux服务器本机是在root用户下操作完成两台主机已实现基本网络配置，且相互ping通 1. 检查图形界面确保服务器端需要运行级别为5的图形界面，且GNOME桌面图形界面已经安装。rpm -qa gnome runlevel2. 查看tigervnc是否安装rpm -q tigervnc tigervnc-server

2016-01-07 10:31:12 1737

翻译 Hadoop 下一代 MapReduce - 集群参数设置与启动

原文地址：http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/ClusterSetup.html一目的二先决条件三安装四运行 Hadoop Non-Secure 模式1 配置 Hadoop 守护进程的运行环境2 配置非安全模式下的 Hadoop 进程五 Hadoop 的机架感知六监控 N

2016-01-05 19:41:42 2157

转载 HBase 默认配置

1. hbase.rootdir这个目录是 RegionServer 的共享目录，用来持久化 HBase。URL 需要是 “完全正确” 的，还要包含文件系统的 scheme。例如 “/hbase” 表示 HBase 在 HDFS 中占用的实际存储位置，HDFS 的 NameNode 运行在主机名为 master5 的 8020 端口，则 hbase.rootdir 的设置应为 “hdfs

2016-01-05 15:58:03 23435

原创 HA 模式下的 Hadoop+ZooKeeper+HBase 启动关闭管理脚本

HA 集群启动与关闭的顺序请参考：http://blog.csdn.net/u011414200/article/details/50437356笔者的集群规划如下：

2016-01-01 11:32:04 3027

原创 HA 模式下的 Hadoop+ZooKeeper+HBase 启动顺序

2 主机规划一首次启动集群网络上的大部分教程的顺序启动顺序停止顺序1.2 主机规划 IP 主机名用户名部署模块进程 10.6.3.43 master5 hadoop5 NameNodeResourceManager NameNodeDFSZKFailoverControllerResourceMana

2016-01-01 11:31:38 18327 1

转载 Hadoop YARN配置参数剖析

本文部分转自 Hadoop YARN配置参数剖析(1)—RM与NM相关参数本文部分转自 Hadoop YARN中内存的设置一 ResourceManager 相关配置参数1 通信配置参数2 调度器配置参数3 内存和 CPU 配置参数二 NodeManager 相关配置参数1 内存与 CPU 配置参数1 日志配置参数3 运行配置参数三 Hadoop YARN 中

2016-01-01 11:30:33 4931 1

翻译 YARN (MRv2) ResourceManager High Availability

本文源自官网 Cloudera 5.3.x文档 http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cdh_hag_rm_ha_config.htmlYARN ResourceManager (RM) 负责跟踪群集中的资源并安排应用程序（例如，MapReduce 作业）。在 CDH 5

2016-01-01 11:28:49 2382

翻译 ResourceManager High Availability

Apache 官方原文地址：http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html一简介二架构1 RM 切换11 手工故障切换22 自动故障切换23 在 RM 故障切换中的客户端ApplicationMaster 和 NodeManager2 恢复之前 Activ

2016-01-01 11:24:42 1864

翻译 HDFS High Availability Using the Quorum Journal Manager

原文的参考文章：《HDFS High Availability Using the Quorum Journal Manager》 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Deployment%E3%80%81一目的二使

2016-01-01 11:22:06 1514

原创 Hadoop 2.0 中 NameNode/ResourceManager HA 总结

本文部分转自董的博客《Hadoop 2.0中单点故障解决方案总结》一. Hadoop 1.0/2.0 的内核架构1. Hadoop 1.0 内核主要由两个分支组成：MapReduce 和 HDFS 众所周知，这两个系统的设计缺陷是单点故障，即 MR 的 JobTracker 和 HDFS 的 NameNode 两个核心服务均存在单点问题，该问题在很长时间内没有解决，这使得 Hado

2016-01-01 11:17:37 7009

原创 Hadoop 权威指南

一. 集群规范Hadoop 运行在商业硬件上。用户可以选择普通硬件供应商生产的标准化的，广泛有效的硬件来构建集群，无需使用特定供应商生产的昂贵、专有的硬件设备。但有几点需要注意： 1. 商业硬件并不等同于低端硬件。 2. 也不推荐使用大型的数据库级别的机器，因为性价比太低了 3. 强烈建议采用 ECC 内存（使用非 ECC 内存会产生校验和错误）尽管各个集群采用的硬件规格肯定有所不同，但是 H

2016-01-01 11:13:12 1021

原创 HDFS 和 YARN 的 HA 故障切换

一非 HDFS HA 集群转换成 HA 集群二 HDFS 的 HA 自动切换命令1 获得当前 NameNode 的 active 和 standby 状态2 NameNode 的 active 和 standby 状态切换3 HDFS HA自动切换比手工切换多出来的步骤三 ResourceManager 的 HA 自动切换命令1 获得当前 RM 的 active 和 standb

2016-01-01 11:09:48 13544 2

翻译 HDFS 用户手册

一目的二概述三先决条件四 Web接口五 Shell命令1 DFSAdmin命令六 Secondary NameNode七 Rebalancer八机架感知Rack awareness九安全模式十 fsck十一升级和回滚十二文件权限和安全性十三可扩展性十四相关文档一. 目的本文档的目标是为 Hadoop 分布式文件系统（HD

2016-01-01 11:08:09 910

原创详解 WordCount 运行后历史日志记录

在《Hadoop-2.5.0-cdh5.3.2 HA 安装》一文中我们已经详细讲述了如何搭建 HA 模式，同时最后还演示了运行其自带的 wordcount 程序，详情请参考运行 Hadoop自带 wordcount 程序。先简要回顾下：基础概念1 运行 wordcount 程序2 控制台输出结果二 Hadoop 作业日志收集过程详解三 ResourceManage

2016-01-01 11:07:19 5094

原创 hadoop2.x 常用端口及定义方法

一常用端口号1 HDFS2 YARN3 HBase4 Hive5 ZooKeeper二 Web UIHTTP服务1 对于存在 Web UIHTTP服务的所有 hadoop daemon 有如下 url2 特定的 Daemon 又有特定的 URL 路径特定相应信息一. 常用端口号Hadoop 集群的各部分一般都会使用到多个端口，有些是 daemon 之间

2016-01-01 11:06:26 6718

转载 Hadoop 1.x 与 2.x 中 fsimage 和 edits 合并实现

本文部分转自 Hadoop 1.x中fsimage和edits合并实现本文部分转自 Hadoop 2.x中fsimage和edits合并实现本文部分转自 hadoop 2.2.0 关于 fsimage & edit log 的相关配置一 Hadoop fsimage 和 edits 合并背景需求二 Hadoop 1x 中 fsimage 和 edits 合并实现1 Secondary

2016-01-01 11:05:44 1725

转载 Hadoop NameNode元数据相关文件目录解析

本文转自 Hadoop NameNode元数据相关文件目录解析一 NameNode 元数据相关文件目录架构二元数据相关文件解析1 VERSION 文件2 seen_txid 文件3 fsimage 和 edits 及 md5 校验文件三文件系统元数据 fsimage 和编辑日志 edits1 edits 和 fsimage 文件的概念2 fsimage 和 edits

2016-01-01 11:02:09 11266

原创 Hadoop 历史服务器与日志详解

本文转至 Hadoop日志存放路径详解一 Hadoop日志存放路径详解1 Hadoop系统服务输出的日志2 配置 Hadoop 系统服务日志二 Mapreduce 程序相关的日志1 历史作业日志2 Container 日志一. Hadoop日志存放路径详解　Hadoop 的日志有很多种，很多初学者往往遇到错而不知道怎么办，其实这时候就应该去看看日志里面

2016-01-01 10:59:14 16386

原创 Hadoop-2.5.0-cdh5.3.2 启动过程详解

五. 启动集群注意：在启动之前务必将配置文件都检查清楚，包括环境变量设置且生效，最后要严格按照以下的步骤启动。5.1 启动ZooKeeper集群在集群中安装 ZooKeeper 的主机上启动 ZooKeeper 服务。在本教程中也就是在 slave51、slave52、slave53 的主机上启动相应进程。分别登陆到三台机子上执行：zkServer.sh start以

2016-01-01 10:57:41 4403

转载 Hadoop 2.0 NameNode HA 和 Federation 实践

本文部分转自 Hadoop 2.0 NameNode HA和Federation实践本文部分转自详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程一 Hadoop 20 里 HA 的实现方式1 利用共享存储来在两个 NN 间同步 edits 信息2 DataNode以下简称DN同时向两个 NN 汇报块信息3 用于监视和控制 NN 进程的 Fail

2016-01-01 10:56:21 1355

原创 Hadoop-2.5.0-cdh5.3.2 HA 安装

一规划1 软件版本2 主机规划3 变量名及目录路径规划二环境准备1 创建 hadoop 用户2 网络配置3 安装 JDK4 配置 SSH 免密码通信5 VNC 配置可选三安装 ZooKeeper四安装 Hadoop 重点1 下载解压配置环境变量2 修改配置文件3 分发程序五启动集群1 启动ZooKeeper集群2 格式化 ZooKeeper 集群目的是在

2016-01-01 10:41:31 4699 1

原创 Hbase HA 分布式搭建

一背景二 HBase 搭建前准备1 主机规划2 系统基本配置 jdk ssh hosts3 网络时间协议 NTP4 安装 ZooKeeper三 HBase 安装配置1 下载解压 HBase 并配置其环境变量2 配置 hbase-envsh3 配置 hbase-sitexml4 hbase-sitexml 配置参数解析5 配置 regionservers6 替换 Ha

2016-01-01 10:25:05 8014 1