2015年08月_Wang_Zhenwei

12月 11月 10月 09月 08月 07月

转载 MongoDB学习1_千万别用MongoDB？真的吗？

某人发了一篇 Don’t use MongoDB 的血泪控诉，我把原文翻译如下，你可以看看。不过，我想我们还要去看看10gen CTO 的对此事的回复，我们还要去在 Reddit 上看看大家的说法，10gen CTO 的对此事的回复后面也有一堆人在讨论这个事，还有一些程序员开始去读 MongoDB 的源码了，呵呵。看样子，说 MongoDB 的这些事并不是真的。　　10gen

2015-08-31 10:12:44 2162

转载 CentOS系统下的Hadoop集群（第10期）_MySQL关系数据库

Hadoop集群（第10期）_MySQL关系数据库1、MySQL安装 MySQL下载地址：http://www.mysql.com/downloads/1.1 Windows平台　　1）准备软件　　MySQL版本：mysql-5.5.21-win32.msi　　2）安装环境：　　操作系统：Windows 7旗舰版　　3）开始安装　　第一

2015-08-29 14:35:36 778

转载 CentOS系统下的Hadoop集群（第9期）_MapReduce初级案例

Hadoop集群（第9期）_MapReduce初级案例1、数据去重　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述　　对数据文件中的数据进行去重。数据文件中的每行都是一个数据。

2015-08-29 11:46:54 928

转载 CentOS系统下的Hadoop集群（第8期）_HDFS初探之旅

Hadoop集群（第8期）_HDFS初探之旅1、HDFS简介　　HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的

2015-08-29 11:18:34 939

原创 Hadoop学习2_Hadoop完全分布式的Eclipse开发环境配置

Hadoop安全分布式的Eclipse开发环境配置安装Eclipse：详细见教程：http://blog.csdn.net/wang_zhenwei/article/details/48032001 安装Hadoop-Eclipse-Plugin：下载 hadoop2x-eclipse-plugin ，将 release 中的 hadoop-eclipse-kepler-

2015-08-28 15:55:50 2992

原创 CentOS学习4_Error mounting: mount: wrong fs type, bad option, bad superblock on /dev/sdb1简单解决方法

使用CentOS连接U盘时，刚连接时，可能会报一下错误：Error mounting: mount: wrong fs type, bad option, bad superblock on /dev/sdb1, missing codepage or helper program, or other error In some cases useful inf

2015-08-28 08:30:34 8961

原创 CentOS学习3_CentOS6.5下安装Eclipse

下载Linux版本的Eclipse：下载地址：http://www.eclipse.org/downloads/ 放置到home/hadoop/目录下：直接下载，或使用U盘拷贝，等等（使用root用户）解压：mkdir /usr/local/eclipse在"/usr/local"下创建"eclipse"文件夹cp /home/hadoop/eclip

2015-08-27 18:47:49 2963

原创 Hadoop错误8_dfsadmin -report后livenodes为0 或报错could only be replicated to 0 nodes, instead of 1

题目中的两个描述相同，发生在Hadoop环境配置过程中，首次初始化后，启动sbin/start-dfs.shsbin/start-yarn.sh然后jps查看，namenode和datanode正常启动，继续往下进行，sbin/stop-dfs.shsbin/stop-yarn.sh然后又正常关闭，但是，继续验证是否配置成功时，bin/hdfs dfsa

2015-08-27 14:17:41 2367

原创 Hadoop学习6_CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍

文件配置：（注：修改配置文件需要使用root用户，否则修改失败）vim /etc/sysconfig/network修改主机名为：HOSTNAME=Mastervim /etc/sysconfig/network-scripts/ifcfg-eth0查看IP地址、网关、DNS服务器是否正确vim /etc/sysconfig/network-scripts/ifcgf-et

2015-08-27 13:51:07 1095

原创 Hadoop错误7_CentOS下Hadoop环境配置，普通用户jps无响应，但root用户有响应

jps(Java Virtual Machine Process Status Tool)是JDK提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。安装完jdk后，需要进行一下配置，（注：设置环境变量）vim /etc/profile编辑/etc/profile文件（注：在文件末尾插入下

2015-08-25 20:25:12 2389

转载 Linux学习5_Linux 下hosts文件详解

1、主机名：无论在局域网还是INTERNET上，每台主机都有一个IP地址，是为了区分此台主机和彼台主机，也就是说IP地址就是主机的门牌号。公网：IP地址不方便记忆，所以又有了域名。域名只是在公网（INtERNET)中存在，每个域名都对应一个IP地址，但一个IP地址可有对应多个域名。局域网：每台机器都有一个主机名，用于主机与主机之间的便于区分，就可以为每台机器设置主机名，以便

2015-08-25 16:47:28 491

转载 Ubuntu系统下的Hadoop集群（7）_设置Linux环境变量的方法和区别

设置Linux环境变量的方法和区别_Ubuntu设置 Linux 环境变量可以通过 export 实现，也可以通过修改几个文件来实现，有必要弄清楚这两种方法以及这几个文件的区别。通过文件设置 Linux 环境变量首先是设置全局环境变量，对所有用户都会生效：etc/profile: 此文件为系统的每个用户设置环境信息。当用户登录时，该文件被执行一次，并从

2015-08-25 10:25:50 763

转载 Hadoop错误6_WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform问题总结

在Ubuntu上安装完hadoop2.4以后，使用以下命令：hadoop fs -ls14/09/09 11:33:51 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableFoun

2015-08-24 19:27:21 3360

原创 Hadoop错误5_配置Hadoop环境变量时export‘=’not a valid identifier的一个原因

该问题出现在配置Hadoop环境变量时，经过查找资料，发现问题原因，并根据说明解决。资料原文：这个问题至少让我损失了2个小时，终于在stackoverflow上找到原因You cannot put spaces around the = sign when you do:export foo=barRemove the spaces you ha

2015-08-24 10:48:45 4935 1

转载 CentOS学习2_CentOS挂载U盘、移动硬盘以及文件拷贝、备份

说明：环境：VMware workstation系统：centos6.2以下操作均在root下执行的1.U盘挂载mkdir /mnt/usb //创建一个目录，用于挂载U盘fdisk -l //查看系统中挂载的U盘，若系统有一块硬盘sdb1 代表你的U盘，/dev/sdb1表明机器已识别U盘，mount /dev/sdb1 /m

2015-08-24 08:59:26 645

转载 CentOS学习1_CentOS下yum命令详解

yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令，而且命令简洁而又好记。yum的命令

2015-08-21 19:49:11 606

转载 CentOS系统下的Hadoop集群（第6期）_WordCount运行详解

Hadoop集群（第6期）_WordCount运行详解 1、MapReduce理论简介 1.1 MapReduce编程模型　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。

2015-08-20 22:27:25 717

转载 CentOS系统下的Hadoop集群（第5期副刊）_JDK和SSH无密码配置

Hadoop集群（第5期副刊）_JDK和SSH无密码配置 1、Linux配置java环境变量 1.1 原文出处地址：http://blog.csdn.net/jiedushi/article/details/6672894 1.2 解压安装jdk　　在shell终端下进入jdk-6u14-linux-i586.bin文

2015-08-20 09:25:57 568

转载 CentOS系统下的Hadoop集群（第4期）_SecureCRT使用

Hadoop集群（第4期）_SecureCRT使用 1、SecureCRT简介　　SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRTTe

2015-08-20 08:52:35 642

转载 CentOS系统下的Hadoop集群（第3期）_VSFTP安装配置

Hadoop集群（第3期）_VSFTP安装配置　　1、VSFTP简介　　VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP 从此名称可以看出来，编制者的初衷是代码的安全。　　安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高速与高稳定性也是VSFTP的两个重要特点。　　在速度方

2015-08-19 17:02:08 632

转载 CentOS系统下的Hadoop集群（第2期）_机器信息分布表

Hadoop集群（第2期）_机器信息分布表1、分布式环境搭建　　采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构　　其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网页文

2015-08-19 16:58:19 484

转载 CentOS系统下的Hadoop集群（第5期）_Hadoop安装配置

Hadoop集群（第5期）_Hadoop安装配置 1、集群部署介绍 1.1 Hadoop简介　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的H

2015-08-18 20:39:55 188

转载 CentOS系统下的Hadoop集群（第7期）_Eclipse开发环境设置

1、Hadoop开发环境简介1.1 Hadoop集群简介　　Java版本：jdk-6u31-linux-i586.bin　　Linux系统：CentOS6.0　　Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介　　Java版本：jdk-6u31-windows-i586.exe　　Win系统：Window

2015-08-17 15:59:12 1061

转载 CentOS系统下的Hadoop集群（第1期）_CentOS安装配置

Hadoop集群（第1期）_CentOS安装配置 1、准备安装 1.1 系统简介　　CentOS 是什么？　　CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每两年发行一次，而每

2015-08-17 13:40:29 765

原创 Hadoop错误4_产生sudo: unable to resolve host ubuntu的一种原因

在进行Hadoop集群配置的开始步骤，会使用以下方式对主机进行修改，sudo vim /etc/hostname # 在此处修改主机名sudo vim /etc/hosts # 在此处修改主机与 IP 的映射关系如果修改后不重启机器，将会以后面的一些步骤中遇到sudo: unable to resolve host ubuntu问题，重

2015-08-17 09:28:06 1388

原创 Hadoop错误3_Ubuntu SSH Connection timed out类问题原因及解决方法

在Hadoop分布式环境配置的实验过程中，将公匙从Master节点传输到 Slave1 节点时，或者ssh Slave1节点时，可能会遇到以下的问题：ssh: connect to host slave1 port 22: Connection timed outlost connectionssh: connect to host slave1 port 22: No

2015-08-14 11:11:14 2858

转载 Ubuntu学习4_Ubuntu默认防火墙安装、启用、配置、端口、查看状态相关信息

Ubuntu11.04默认的是UFW（ufw 即uncomplicated firewall的简称，不复杂的防火墙，繁琐部分的设置还是需要去到iptables）防火墙，已经支持界面操作了。在命令行运行ufw命令就可以看到提示的一系列可进行的操作最简单的一个操作：sudo ufw status(如果你是root，则去掉sudo，ufw status)可检查防火墙的状态，我的返

2015-08-14 10:34:29 643

原创 Ubuntu学习3_Ubuntu下怎样彻底卸载软件

在进行Hadoop环境配置时，ssh因为多次安装，会出现一些列的问题，建议彻底卸载后再次安装，或者保存一个未使用过的虚拟机备份，作为备用。卸载软件保留配置文件命令： sudo apt-get remove softname1 softname2 softname3…卸载并清除配置命令： sudo apt-get remove --purge softname1更

2015-08-14 09:50:11 805

转载 Ubuntu学习2_VMWare虚拟机下为Ubuntu配置静态IP（NAT方式）

背景在虚拟机下运行操作系统，尤其是Linux系统已经是非常常见的做法。有时你想在虚拟机下搭建一个(模拟)服务器来供主机访问，比如搭建一个telnet/ssh。此时你会发现，每次启动虚拟机，VMWare为虚拟机系统分配一个动态IP，这样每次去连接虚拟机的telnet时很不方便。如果设成静态IP就好了。VMnet8和NAT如果你的虚拟机是以NAT方式连入互联网的话，那么虚拟机的

2015-08-13 16:41:01 503

转载 Ubuntu系统下的Hadoop集群（6）_Hadoop安装配置简略教程

原文来自：http://dblab.xmu.edu.cn/blog/install-hadoop-simplify/本Hadoop安装教程为简略版本，包含伪分布式和集群的配置，只列出命令与配置，不作详细说明，方便有基础的读者。完整版请浏览Hadoop安装配置教程_伪分布式，以及Hadoop集群安装配置教程。本教程在 Ubutnu 14.04 64位，

2015-08-13 11:21:16 617

原创 Hadoop错误2_Hadoop伪分布式下，运行WordCount时，Input path does not exist错误原因

在伪分布式下，按照下面两个博客，分别以命令行方式和Eclipse执行WordCount程序时，都会出现同样的错误，（Eclipse：http://blog.csdn.net/wang_zhenwei/article/details/47422775）（命令行方式：http://blog.csdn.net/wang_zhenwei/article/details/47439623）

2015-08-12 14:38:31 32678 4

转载 Ubuntu系统下的Hadoop集群（2）_使用命令行编译打包运行自己的MapReduce程序

使用命令行编译打包运行自己的MapReduce程序 Hadoop2.4.1网上的MapReduce WordCount教程对于如何编译WordCount.java几乎是一笔带过… 而有写到的，大多又是 0.20 等旧版本版本的做法，即 javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar Word

2015-08-12 09:42:25 2501 3

原创 Hadoop学习1_在使用命令行运行WordCount时，遇到的jar命令说明

1. jar cf WordCount.jar WordCount*.class使用情况：编译WordCount.java文件，编译java文件的命令为javac，截图如下：编译WordCount.java此时，在workspace文件夹下将会出现生成三个class文件，编译后生成class文件编译成功后，即可将三个class文件打包成jar文件，

2015-08-11 20:46:33 6359

转载 JAVA学习1_JAR文件包及jar命令详解

常常在网上看到有人询问：如何把 java 程序编译成 .exe 文件。通常回答只有两种，一种是制作一个可执行的 JAR 文件包，然后就可以像.chm 文档一样双击运行了；而另一种是使用 JET 来进行编译。但是 JET 是要用钱买的，而且据说 JET 也不是能把所有的 Java 程序都编译成执行文件，性能也要打些折扣。所以，使用制作可执行 JAR 文件包的方法就是最佳选择了，何况它还能保持Jav

2015-08-11 20:33:44 490

转载 Ubuntu系统下的Hadoop集群（4）_使用Eclipse编译运行MapReduce程序

使用Eclipse编译运行MapReduce程序_Hadoop_2.4.1上篇介绍了使用命令行编译打包运行自己的MapReduce程序，使用 Eclipse 更加方便。要在 Eclipse 上编译和运行 MapReduce 程序，需要安装 hadoop-eclipse-plugin，可使用 Github 上的 hadoop2x-eclipse-plugin，测试环境：U

2015-08-11 16:41:35 2233

转载 Hadoop错误1_Hadoop分布式及伪分布式下DataNode不能启动的问题

问题导读：1、hadoop 完全分布式和伪分布式下 datanode无法启动的原因？2、怎么解决？问题描述：在集群模式下更改节点后，启动集群发现 datanode一直启动不起来。我集群配置：有5个节点，分别为master slave1-5 。在master以hadoop用户执行：start-all.shjps查看master节点启动情况：

2015-08-11 15:01:40 5852

转载 Ubuntu系统下的Hadoop集群（3）_Hadoop单机版自定义实现类以及编译运行

Hadoop 2.4.1单机版自定义实现类以及编译运行概述博主最近在学hadoop，而且在本实验室一位大神的指导下，我已配置好hadoop2.4.1开发环境，还没有配置或者不会配置的，请看链接hadoop单机版配置。由于之前运行的都是hadoop自带的实例，但是对于个人学习而言，肯定是要自己编写实现类以及编译运行实现类，因此博主就撰写了这篇文章，希望对学习hadoop的同道中

2015-08-10 19:58:11 2160