2014年12月_zdp072

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 hadoop(十一) - hadoop各版本集群环境搭建

一. hadoop1.0集群搭建：1.启动Linux，选择I copy it（选择move是mac地址不变，选择copy，会新产生一mac地址）2.配置Linux环境2.1执行ifconfig命令发现，可用的网卡是eth1 HWaddr 2.2将eth1的新的mac地址复制下来，替换原来eth0里旧的的mac地址vim /etc/sysconfig/network-s

2014-12-28 18:26:05 1342

原创 Think in Java(三)：访问权限控制

1. 一个java文件中可以有多个类，但只能有一个public的类。2. 类既不可以是private的，因为这会使得除该类职位，其他任何类都不可以访问它，也不可以是protected，所以对于类的访问权限只能是包访问权限或public。（一个内部类可以是private或protected）3. 访问权限 public > friendly > protected > private

2014-12-27 22:10:48 841

原创 hadoop(十) - hive安装与自定义函数

一. Hive安装Hive只在一个节点上安装即可1. 上传tar包2. 解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/3. 配置mysql metastore（切换到root用户）3.1 配置HIVE_HOME环境变量3.2 安装mysql查询以前安装的mysql相关包: rpm -qa | grep mysql暴力删除这个包

2014-12-27 21:21:55 1227

原创 hadoop(九) - hbase shell命令及Java接口

1. 进入hbase命令行 ./hbase shell2. 显示hbase中的表 list3. 创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}4. 向表中插入信息：向user表中插入信息，row

2014-12-23 22:08:44 1889

原创 hadoop(八) - hbase集群环境搭建

1. 上传hbase安装包hbase-0.96.2-hadoop2-bin.tar.gz2. 解压 tar -zxvf hbase-0.96.2-hadoop2-bin.tar.gz -C /cloud3. 配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/co

2014-12-23 21:50:56 2087

原创 Think in Java(二)：初始化与清理

1. 区分重载方法：参数顺序的不同可以区分两个方法，不过，一般情况下千万别这么做，因为这会使代码难以维护不能通过返回值类型来区分重载方法：因为如果我直接调用f(), 此时java不知道应该调用那一个public void f(){ }public int f(){return 1;}2. 只有当需要明确指出对当前对象的引用时，才需要使用this关键字，例如，

2014-12-22 14:39:13 922 2

原创 hadoop(八) - sqoop安装与使用

一. sqoop安装：安装在一台节点上就可以了。1. 使用winscp上传sqoop2. 安装和配置添加sqoop到环境变量将数据库连接驱动mysql-connector-5.1.8.jar拷贝到$SQOOP_HOME/lib里二. sqoop的使用### 第一类：数据库中的数据导入到HDFS上sqoop import --connect jdbc:

2014-12-21 19:24:17 1157

原创 hadoop(七) - hadoop集群环境搭建

一. 前言：hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译二. 准备工

2014-12-21 19:08:18 1358 2

原创 hadoop(六) - ZooKeeper安装与配置

一. ZooKeeper配置1.使用winscp上传zk安装包zookeeper-3.4.5.tar.gz

2014-12-21 18:44:18 1074

原创 hadoop(五) - 分布式计算利器MapReduce加强

一. Partitioner是partitioner的基类，如果需要定制partitioner也需要继承该类。public class DataCount { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job =

2014-12-15 21:46:08 826

Linux系统中的wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。wget支持HTTP，HTTPS和FTP协议，可以使用HTTP代理。所谓的自动下载是指，wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统，启动一个wget下载任务，然后退出系统，wget将在后台执行直到任务完成，相对于其它大

2014-12-06 00:02:24 694

原创 Linux常用命令(五十二) - scp

scp是secure copy的简写，用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的。可能会稍微影响一下速度。当你服务器硬盘变为只读 read only system时，用scp可以帮你把文件移出来。另外，scp还非常不占资源，不会提高多少系统负荷，在这一点上，rsync就远远不及它了。虽然 rsync比scp会快一点

2014-12-05 23:45:27 865

原创 Linux常用命令(五十一) - rcp

rcp代表“remote file copy”（远程文件拷贝）。该命令用于在计算机之间拷贝文件。rcp命令有两种格式。第一种格式用于文件到文件的拷贝；第二种格式用于把文件或目录拷贝到另一个目录中。1．命令格式：rcp [参数] [源文件] [目标文件]2．命令功能：rcp命令用在远端复制文件或目录，如同时指定两个以上的文件或目录，且最后的目的地是一个已经

2014-12-05 23:36:00 658

原创 Linux常用命令(五十) - telnet

telnet命令通常用来远程登录。telnet程序是基于TELNET协议的远程登录客户端程序。Telnet协议是TCP/IP协议族中的一员，是Internet远程登陆服务的标准协议和主要方式。它为用户提供了在本地计算机上完成远程主机工作的能力。在终端使用者的电脑上使用telnet程序，用它连接到服务器。终端使用者可以在telnet程序中输入命令，这些命令会在服务器上运行，就像直接在服务器的控制台

2014-12-05 23:28:13 754

原创 Linux常用命令(四十九) - ss

ss是Socket Statistics的缩写。顾名思义，ss命令可以用来获取socket统计信息，它可以显示和netstat类似的内容。但ss的优势在于它能够显示更多更详细的有关TCP和连接状态的信息，而且比netstat更快速更高效。当服务器的socket连接数量变得非常大时，无论是使用netstat命令还是直接cat /proc/net/tcp，执行速度都会很慢。可能你不

2014-12-05 23:18:43 674

原创 Linux常用命令(四十八) - netstat

netstat命令用于显示与IP、TCP、UDP和ICMP协议相关的统计数据，一般用于检验本机各端口的网络连接情况。netstat是在内核中访问网络及相关信息的程序，它能提供TCP连接，TCP和UDP监听，进程内存管理的相关报告。如果你的计算机有时候接收到的数据报导致出错数据或故障，你不必感到奇怪，TCP/IP可以容许这些类型的错误，并能够自动重发数据报。但如果累计的出错情况数目占到所接收

2014-12-05 22:48:03 706

原创 Linux常用命令(四十七) - traceroute

通过traceroute我们可以知道信息从你的计算机到互联网另一端的主机是走的什么路径。当然每次数据包由某一同样的出发点（source）到达某一同样的目的地(destination)走的路径可能会不一样，但基本上来说大部分时候所走的路由是相同的。linux系统中，我们称之为traceroute,在MS Windows中为tracert。 traceroute通过发送小的数据包到目的设备直到其返回，

2014-12-05 22:29:46 755

原创 Linux常用命令(四十六) - ping

Linux系统的ping命令是常用的网络命令，它通常用来测试与目标主机的连通性，我们经常会说“ping一下某机器，看是不是开着”、不能打开网页时会说“你先ping网关地址192.168.1.1试试”。它通过发送ICMP ECHO_REQUEST数据包到网络主（send ICMP ECHO_REQUEST to network hosts），并显示响应情况，这样我们就可以根据它输出的信息来确定目标主

2014-12-03 23:15:24 775

原创 Linux常用命令(四十五) - route

Linux系统的route命令用于显示和操作IP路由表（show / manipulate the IP routing table）。要实现两个不同的子网之间的通信，需要一台连接两个网络的路由器，或者同时位于两个网络的网关来实现。在Linux系统中，设置路由通常是为了解决以下问题：该Linux系统在一个局域网中，局域网中有一个网关，能够让机器访问Internet，那么就需要将这台机器的IP地址设

2014-12-03 23:08:33 591

原创 Linux常用命令(四十四) - ifconfig

许多windows非常熟悉ipconfig命令行工具，它被用来获取网络接口配置信息并对此进行修改。Linux系统拥有一个类似的工具，也就是ifconfig(interfaces config)。通常需要以root身份登录或使用sudo以便在Linux机器上使用ifconfig工具。依赖于ifconfig命令中使用一些选项属性，ifconfig工具不仅可以被用来简单地获取网络接口配置信息，还可以修改

2014-12-03 22:59:17 674 2

原创 Linux常用命令(四十三) - isof

lsof（list open files）是一个列出当前系统打开文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用程序分配了一个文件描述符，无论这个文件的本质如何，该文件描述符为应用程序与基础操作系统之间的交互提供了通用接口。因为应用程序打

2014-12-03 22:49:14 14787

原创 Linux常用命令(四十二) - crontab

前一天学习了 at 命令是针对仅运行一次的任务，循环运行的例行性计划任务，linux系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。一、crond简介crond是linu

2014-12-02 14:19:38 741

原创 Linux常用命令(四十一) - at

在windows系统中，windows提供了计划任务这一功能，在控制面板 -> 性能与维护 -> 任务计划，它的功能就是安排自动运行的任务。通过'添加任务计划'的一步步引导，则可建立一个定时执行的任务。在linux系统中你可能已经发现了为什么系统常常会自动的进行一些任务？这些任务到底是谁在支配他们工作的？在linux系统如果你想要让自己设计的备份程序可以自动在某个时间点开始

2014-12-02 14:09:14 620

转载 Linux常用命令(四十) - watch

watch是一个非常实用的命令，基本所有的Linux发行版都带有这个小工具，如同名字一样，watch可以帮你监测一个命令的运行结果，省得你一遍遍的手动运行。在Linux下，watch是周期性的执行下个程序，并全屏显示执行结果。你可以拿他来监测你想要的一切命令的结果变化，比如 tail 一个 log 文件，ls 监测某个文件的大小变化，看你的想象力了！1．命令格式：watch[参数]

2014-12-02 13:59:03 610

原创 Linux常用命令(三十九) - iostat

Linux系统中的 iostat是I/O statistics（输入/输出统计）的缩写，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。同vmstat一样，iostat也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析。iostat属于sysstat软件包。可以用yum install sysstat 直接安装。

2014-12-02 13:54:19 647

转载 Linux常用命令(三十八) - vmstat

vmstat是Virtual Meomory Statistics（虚拟内存统计）的缩写，可对操作系统的虚拟内存、进程、CPU活动进行监控。他是对系统的整体情况进行统计，不足之处是无法对某个进程进行深入分析。vmstat 工具提供了一种低开销的系统性能观察方式。因为 vmstat 本身就是低开销工具，在非常高负荷的服务器上，你需要查看并监控系统的健康情况,在控制窗口还是能够使用vmstat 输出结

2014-12-01 14:31:41 747

原创 Linux常用命令(三十七) - free

free命令可以显示Linux系统中空闲的、已用的物理内存及swap内存,及被内核使用的buffer。在Linux系统监控的工具中，free命令是最经常使用的命令之一。1．命令格式：free [参数]2．命令功能：free 命令显示系统使用和空闲的内存情况，包括物理内存、交互区内存(swap)和内核缓冲区内存。共享内存将被忽略3．命令

2014-12-01 14:14:12 518

原创 Linux常用命令(三十六) - top

top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。下面详细介绍它的使用方法。top是一个动态显示过程,即可以通过用户按键来不断刷新当前状态.如果在前台执行该命令,它将独占前台,直到用户终止该程序为止.比较准确的说,top命令提供了实时的对系统处理器的状态监视.它将显示系统中CPU最“敏感”的任务列表.该命令可以按CPU使用.内存

2014-12-01 13:47:23 552

原创 Linux常用命令(三十五) - killall

Linux系统中的killall命令用于杀死指定名字的进程（kill processes by name）。我们可以使用kill命令杀死指定进程PID的进程，如果要找到我们需要杀死的进程，我们还需要在之前使用ps等命令再配合grep来查找进程，而killall把这两个过程合二为一，是一个很好用的命令。1．命令格式：killall[参数][进程名]2．

2014-12-01 13:33:38 583