- 博客(36)
- 收藏
- 关注
RSS订阅原创 hibernate tools插件在Eclipse中的安装和使用
1. 在线更新打开eclipse工具，选择HELP---Install new software----输入网址，如我们这里要安装hibernate tools进行逆向工程的建立，输入http://download.jboss.org/jbosstools/updates/development 选择hibernate tools----安装更新。 2. 手动安装...
2014-03-31 17:24:00
122
原创 Linux防火墙的关闭和开启
1) 重启后生效 开启： chkconfig iptables on 关闭： chkconfig iptables off 2) 即时生效，重启后失效 开启： service iptables start 关闭： service iptables stop 3) 永久关闭防火墙 chkconfig --level 2345 iptables off 4)查看防火墙...
2014-03-29 10:39:43
77
原创 设置MySQL开机自动启动
通过yum安装MySQL后，默认开机时不会自动启动，需要手动设置MySQL让它开机自启动。首先通过chkconfig命令看看MySQL在不在可管理的列表中，命令是：chkconfig --list如果列表中没有mysqld这个，需要先用这个命令添加：chkconfig --add mysqld然后用这个命令设置开机启动：chkconfig mysqld on最后确认一...
2014-03-29 09:50:06
409
原创 The method of type must override a superclass method解决方式
@Override 时出现以下错误： The method XXXXXX of type XXXXXXXXX must override a superclass method 那是因为你的Compiler 是jdk1.5，只要把它改为 1.6就可以了 方法： 1. window ->preferences... -> java -&g...
2014-03-25 14:04:41
93
原创 HBase .META. Region启动不成功
启动region server的时候报如下错误: 2013-09-09 11:23:05,863 DEBUG org.apache.hadoop.hbase.regionserver.HRegionServer: NotServingRegionException; Region is not online: -ROOT-,,02013-09-09 11:23:08,874 DEBUG ...
2014-03-23 22:38:37
138
原创 hadoop1.2.1+zookeeper-3.4.5+hbase-0.94.1集群安装
一，环境:1，主机规划：集群中包括3个节点：hadoop01为Master，其余为Salve，节点之间局域网连接，可以相互ping通。机器名称IP地址hadoop01192.168.1.31hadoop02192.168.1.32hadoop03192.168.1.33...
2014-03-22 16:43:27
149
原创 HDFS的基本概念
1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。2、元数据节点(Namenode)和数据节点(datanode)nam...
2014-03-20 14:59:40
86
原创 使用Ganglia监控Hadoop集群
0 环境操作系统：CentOS 6.2 hadoop版本：hadoop-1.0.1集群中三台机器：192.168.137.101 namenode192.168.137.103 datanode1192.168.137.104 datanode2 1 安装Ganglia1.1 添加EPEL软件仓库CentOS官方软件...
2014-03-18 22:01:55
139
原创 hive的数据类型和数据模型
在上篇文章里，我列举了一个简单的hive操作实例，创建了一张表test，并且向这张表加载了数据，这些操作和关系数据库操作类似，我们常把hive和关系数据库进行比较，也正是因为hive很多知识点和关系数据库类似。 关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型，数据模型以及文件存储格式。这些知识大家...
2014-03-18 10:41:16
238
原创 hive介绍
首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统...
2014-03-18 10:23:01
78
原创 zookeeper技术浅析
Zookeeper是hadoop的一个子项目，虽然源自hadoop，但是我发现zookeeper脱离hadoop的范畴开发分布式框架的运用越来越多。今天我想谈谈zookeeper，本文不谈如何使用zookeeper，而是zookeeper到底有哪些实际的运用，哪些类型的应用能发挥zookeeper的优势，最后谈谈zookeeper对分布式网站架构能产生怎样的作用。 Zookeeper是针对...
2014-03-18 10:17:32
67
原创 (转）JSP EL读书笔记
转载：http://wnight88.blog.51cto.com/512204/163189一、JSP EL的运算符类型定义算术型+ - * / div % mod逻辑型and && or || not !关系型== eq != ne > gt ...
2014-03-16 21:48:21
95
原创 版本管理
总版本号.分支版本号.小版本号-里程碑版本0.0.1-SNAPSHOT总版本号的变动一般表示框架的变动分支版本号：一般表示增加些功能小版本号：在分支版本上面进行bug修复 SNAPSHOT -- >alpha --> beta --> release -->GA开发版本-->内部测试版本 -->外部公正版本-->发布版本...
2014-03-16 21:40:12
76
原创 编译 hadoop 2.2.0
Hadoop 2.2 是 Hadoop 2 即yarn的第一个稳定版。并且解决单点问题。maven安装[andy@s41 ~]$ wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz解压后放到/usr/local目录下。 增加国内ma...
2014-03-15 14:35:59
68
原创 linux route命令的使用详解
route命令用于显示和操作IP路由表。要实现两个不同的子网之间的通信，需要一台连接两个网络的路由器，或者同时位于两个网络的网关来实现。在Linux系统中，设置路由通常是 为了解决以下问题：该Linux系统在一个局域网中，局域网中有一个网关，能够让机器访问Internet，那么就需要将这台机器的IP地址设置为 Linux机器的默认路由。要注意的是，直接在命令行下执行route命令来添加路由，不...
2014-03-15 14:35:52
83
原创 awk 从shell传参数
-v arg=value 方式传入。[hadoop@hs12 sh]$ cat a2|1|文字|2|2|文字|2|3|文字|[hadoop@hs12 sh]$ awk -F “|” -v b=2 ‘{ if($2==b) { print $0;} }’ a2|2|文字|参考http://blog.csdn.net/sosodream/article/details/574631...
2014-03-15 14:35:32
129
原创 hadoop 配置机架感知
假如设备链接层次分3层，第一层交换机d1下面连多个交换机rk1,rk2,rk3,rk4,…. 每个交换机对应一个机架。d1(rk1(hs11,hs12,…),rk2(hs21,hs22,…), rk3(hs31,hs32,…),rk4(hs41,hs42,…),…)可以用程序或脚本完成由host到设备的映射。比如，用python，生成一个topology.py：然后在core-si...
2014-03-15 14:35:24
200
原创 用python脚本定期备份文件
#!/usr/bin/env python# file name : backup.py# author: zhouhh# blog: http://blog.csdn.net/ablo_zhou# Email: ablozhou@gmail.com# Date : 2008.5.21# back up files and dir to a time format tg...
2014-03-15 14:35:12
315
原创 Hive导出到Mysql中中文乱码的问题
在上一篇文章《从hive将数据导出到mysql》中，虽然通过hive中转，将hbase的数据成功导出到了mysql中，但是我们遇到了中文乱码问题。一、mysql中的编码mysql> show variables like 'collation_%';+----------------------+-------------------+| Variable_name | V...
2014-03-14 10:20:36
280
原创 从hive将数据导出到mysql
在上一篇文章《用sqoop进行mysql和hdfs系统间的数据互导》中，提到sqoop可以让RDBMS和HDFS之间互导数据，并且也支持从mysql中导入到HBase，但从HBase直接导入mysql则不是直接支持，而是间接支持。要么将HBase导出到HDFS平面文件，要么将其导出到Hive中，再导出到mysql。本篇讲从hive中导出到mysql。从hive将数据导出到mysql一、创建m...
2014-03-14 10:16:56
451
原创 用Sqoop把数据从HDFS导入到MYSQL
sqoop是一个能把数据在关系型数据库和HDFS之间互相传输的工具。在这里，我写一下用java 程序来实现sqoop把数据从HDFS写入到MYSQL。在接触sqoop之前，我自己写了一个传输类来实现数据从HDFS到MYSQL。这里简单说一下时间的思想:1、在MYSQL中创建一个参数表A，用来记录要传输的表的表名B和字段。2、HDFS上的数据的格式和MYSQL中参数表A中B表的字段的数量一样。3、从...
2014-03-14 09:52:01
682
原创 装饰模式
概述23种设计模式之一，英文叫DecoratorPattern，中文也叫装饰模式、修饰模式。装饰模式是在不改变类文件和不使用继承的情况下，运行期动态扩展一个对象的功能。原理是：增加一个修饰类包裹原来的类，包裹的方式一般是通过在将原来的对象作为修饰类的构造函数的参数。装饰类实现新的功能，但是，在不需要用到新功能的地方，它可以直接调用原来的类中的方法。修饰类必须和原来的类有相同的接口(没有接口...
2014-03-14 09:32:52
70
原创 hive日常积累优化技巧
一、join优化Join查找操作的基本原则：应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。Join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的join合并到一个mapred程...
2014-03-14 09:32:34
96
原创 PostgreSQL服务启动又停止的解决方法
安装PostgreSQL数据库8.3版本后，启动数据库服务，却弹出提示服务启动后又停止，一些服务自动停止，如果他们没有什么可做的，例如性能日志和警报服务。这个时候需要查看事件查看器的报错消息。 1.当错误为could not create inherited socket，错误编码为10022。解决方法为运行netsh winsoc reset。然后重启服务即可。 ...
2014-03-13 09:56:04
1282
原创 工厂方法模式
概述 工厂方法模式，英文Factory method pattern，工厂方法模式是简单工厂模式的进化版， 看本文之间最好先看一下简单工厂模式。工厂方法模式是定义一个创建产品对象的工厂接口，工厂接口本身不去创建对象，而是交给其子类或者是其实现类去创建，将实际创建工作推迟到子类中进行，我们先看一下如何实现工厂方法模式，最后再说一下它有什么好处。实现 Opera...
2014-03-09 23:41:06
61
原创 单例模式
概述单例模式(Singleton Pattern)，创建对象模式之一，单例模式确保一个类只能创建一个实例。单例模式适用于一个系统要求一个类只有一个实例时，比如Swing窗体，只需要一个实例。如果一个类可以同时存在多个实例，那就不需要使用单例模式。单例模式很容易被滥用。下面看一下代理模式的几种实现方式。实现实现单例模式要两点，一是不能让外界创建对象，所以需要构造器私有化；二是需要提供...
2014-03-09 23:40:09
71
原创 代理模式
概述代理模式，即ProxyPattern，java常用设计模式之一，动态代理实现了著名的AOP思想。代理模式的思想是为了提供额外的处理或者不同的操作而在实际对象与调用者之间插入一个代理对象。这些额外的操作通常需要与实际对象进行通信。通俗的讲，可以拿到现实中来举例，可能说的并不准确，比如，苹果出了一款iphone手机，拿到中国交给代理商来卖，如联通、电信，就是所谓的定制机，联通电信又给ip...
2014-03-09 23:39:38
62
原创 简单工厂模式
源起最近在看程杰著作的《大话设计模式》，全书以小菜和大鸟对话的形势，由浅入深的讲解程序的设计思想，影射出一个个设计模式。我之前虽然也使用过一些设计模式，但没有系统的学习、整理、总结，现从该书入手，拟补自己技术领域的一块空白。该书虽以C#语言为基础，但对Java程序猿来说，却不影响阅读。本专栏记录自己学习设计模式的过程及自己的认识，争取从小菜蜕变成大鸟。定义从设计模式的类型上来说，简...
2014-03-09 23:38:23
81
原创 策略模式
概述策略模式定义了一系列的算法，并将每一个算法封装起来，而且使它们还可以相互替换。策略模式让算法独立于使用它的客户而独立变化。UML 实现Strategy.java，策略类，定义算法的公共接口。public abstract class Strategy { // 算法方法 public abstract void algorithmI...
2014-03-09 23:37:18
79
原创 java编译
第一种方式1javac -encoding UTF-8 -d . SynchronizedThread.java 2java thread/SynchronizedThread 第二种方式1javac -encoding UTF-8 thread/SynchronizedThread.java2java thread/SynchronizedTh...
2014-03-08 12:12:37
70
原创 Hive 中内部表与外部表的区别与创建方法
先来说下Hive中内部表与外部表的区别： Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径， 不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。 需要注意的是传统数据库对表数据验证是 schema on write（写时模式...
2014-03-05 23:42:32
65
原创 Hive 常见问题与技巧
1Q: 是否有像类似于phpmyadmin一样的hive查询客户端，能以界面的方式查询hive语句和导出数据A: 有的，客户端的话可以使用squirrel来连接hive，squirrel是一个通用的数据库查询客户端，还有有一个开源项目phphiveadmin也不错，web方式访问hive，这里也有一个hive web client(https://github.com/lalaguoz...
2014-03-05 23:34:07
96
原创 使用spring @Scheduled注解执行定时任务
以前框架使用quartz框架执行定时调度问题、老大说这配置太麻烦、每个调度都需要多加在spring的配置中、能不能减少配置的量从而提高开发效率、最近看了看spring的 scheduled的使用注解的方式进行调度、感觉很方便、起码配置的东西少了很多、 所以留下来以备忘了、 首先要配置我们的spring.xml xmlns 多加下面的内容、xmlns:t...
2014-03-04 16:24:22
183
原创 hbase二级索引Observer
使用必须是线性安全：package coprocessor;import java.io.IOException;import org.apache.hadoop.hbase.CoprocessorEnvironment;import org.apache.hadoop.hbase.client.HTableInterface;import org.apache.ha...
2014-03-04 10:32:20
89
原创 Hive 中内部表与外部表的区别与创建方法
先来说下Hive中内部表与外部表的区别： Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径， 不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。 需要注意的是传统数据库对表数据验证是 schema on write（写时模式）...
2014-03-03 23:27:47
76
原创 Hive基本命令整理
创建表：hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string创建一个新表，结构与其他一样hive> create table n...
2014-03-03 22:46:09
62
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人