客人

原创 HBase

HBase部署过程：1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉h

原创 Hive

set hive.cli.print.header=true;CREATE TABLE page_view(viewTime INT, userid BIGINT,     page_url STRING, referrer_url STRING,     ip STRING COMMENT 'IP Address of the User') COMMENT 'This i

转载 Linux防火墙iptables的策略

iptables策略　　iptables -L #查看现有防火墙所有策略　　iptables -F #清除现有防火墙策略　　只允许特定流量通过，禁用其他流量1.允许SSH流量（重要）　　iptables -A INPUT -p tcp --dport 22 -j ACCEPT #-A追加的意思；--dport目标端口的意思2.允许DNS流量（重要）

转载 Java并发编程：volatile关键字解析

Java并发编程：volatile关键字解析　　 volatile这个关键字可能很多朋友都听说过，或许也都用过。在Java 5之前，它是一个备受争议的关键字，因为在程序中使用它往往会导致出人意料的结果。在Java 5之后，volatile关键字才得以重获生机。　　volatile关键字虽然从字面上理解起来比较简单，但是要用好不是一件容易的事情。由于volatile关键字是与Java的内存模型有关的...

转载 java 心跳机制

什么是心跳包？心跳包就是在客户端和服务器间定时通知对方自己状态的一个自己定义的命令字，按照一定的时间间隔发送，类似于心跳，所以叫做心跳包。　　 用来判断对方（设备，进程或其它网元）是否正常运行，采用定时发送简单的通讯包，如果在指定时间段内未收到对方响应，则判断对方已经离线。用于检测TCP的异常断开。基本原因是服务器端不能有效的判断客户端是否在线，也就是说，服务器无法区分客户端是长时间在空闲，还是已...

原创 HDFS-HA-federation的机制和功能组件

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA 注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译（建议第一次安装用32位的系统

原创 ZooKeeper

ZooKeeper部署过程：1.上传zk安装包 2.解压 3.配置（先在一台节点上配置）3.1添加一个zoo.cfg配置文件$ZOOKEEPER/confmv zoo_sample.cfg zoo.cfg3.2修改配置文件（zoo.cfg）dataDir=/home/hadoop/app/zookeeper-3.4.5/dataserver.1=itcast05:2888:3888server.2...

原创 MapReduce

案例：package cn.itheima.bigdata.hadoop.mr.wordcount; import java.io.IOException; import org.apache.commons.lang.StringUtils;import org.apache.hadoop.io.LongWritable;import org.apache.hadoo

原创 SSH-远程登录协议

原创 HDFS

Hadoopp部署过程：1.准备Linux环境      1.0 点击VMware快捷方式，右键打开文件所在位置-> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip设置网段：192.168.1.0子网掩码：255.255.255.0 -> apply -> ok回到windows --> 打开网络和共享中心 -> 更

转载 JAVA 通过 Socket 实现 TCP 编程

转载自http://blog.csdn.net/qq_23473123/article/details/51461894TCP简介TCP（Transmission Control Protocol 传输控制协议）是一种面向连接的、可靠的、基于字节流的传输层通信协议，由IETF的RFC 793定义。在简化的计算机网络OSI模型中，它完成第四层传输层所指定的功能，用户数据报协议（UDP，下一篇博客会实...

转载 Java反射机制详解

文章来自http://blog.csdn.net/yongjian1092/article/details/7364451首先，我们在开始前提出一个问题：1.在运行时，对于一个Java类，能否知道属性和方法；能否去调用它的任意方法？ 答案是肯定的。本节所有目录如下：什么是JAVA的反射机制JDK中提供的Reflection APIJAVA反射机制提供了什么功能获取类的Class对象获取类的Fiel...

转载 java动态代理原理

代理：设计模式代理模式是一种常用的设计模式，其目的就是为其他对象提供一个代理以控制对某个真实对象的访问。代理类负责为委托类预处理消息，过滤消息并转发消息，以及进行消息被委托类执行后的后续处理。通过代理层这一中间层，有效的控制对于真实委托类对象的直接访问，同时可以实现自定义的控制策略（spring的AOP机制），设计上获得更大的灵活性。java动态代理的类和接口（jdk1.6源码）1，Java.la...