hadoop2.4.1集群搭建

hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA 注意:apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库, 所以如果在64位的操作上安装...

2017-04-30 14:45:27

阅读数 482

评论数 0

Zookeeper搭建

1.上传zk安装包 2.解压 3.配置(先在一台节点上配置) 3.1添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg 3.2修改配置文件(zoo.cfg) dataDir=/itcast/zooke...

2017-04-28 19:41:40

阅读数 201

评论数 0

ssh免密码登入

大家可以配置成密论认证的方式 首先生成密钥,用命令ssh-keygen –t rsa      运行后可以一直空格,生成密钥,id_rsa和id_rsa.pub文件 ,默认放在/root/.ssh/下,.ssh文件是隐藏的,要显示隐藏文件才看得到      在/home/admin下创建.ssh活...

2017-04-26 15:08:24

阅读数 273

评论数 0

HBase的配置

1.上传hbase安装包 2.解压 3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAV...

2017-04-25 19:14:18

阅读数 317

评论数 0

hive安装

Hive只在一个节点上安装即可 1.上传tar包 2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.配置mysql metastore(切换到root用户) 配置HIVE_HOME环境变量 rpm -qa | grep mysql rpm -e m...

2017-04-25 11:26:17

阅读数 180

评论数 0

hadoop在启动时报错如何定位到错误

在hadoop目录下有个logs目录里面会记录你的操作日志。 比如我是root用户在进行 journalnode失败 我查看的日志是 less hadoop-root-journalnode-hadoop5.log

2017-04-30 14:41:07

阅读数 176

评论数 0

zookeeper中启动出现闪退

原因是:zoo.cfg中的dataDir配置有问题,当在巧命令./zkServer.sh start没有报错就是启动后马上闪退。如果出现这样的情况先看下自己的配置是否正确。 是否有data目录中又myid1

2017-04-30 14:07:45

阅读数 256

评论数 0

hive中使用map和array

create table table1 (a array, b array) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ','; load data local inpath...

2017-04-29 10:58:22

阅读数 776

评论数 0

ZooKeeper Watcher注意事项

ZooKeeper Watcher注意事项 zookeeper watch的定义如下:watch事件是一次性触发器,当watch监视的数据发生变化时,通知设置了该watch的client,即watcher。 需要注意三点: 1.一次性触发器 client在一个节...

2017-04-29 08:41:57

阅读数 164

评论数 0

Zookeeper Api(java)入门与应用(转)

Zookeeper Api(java)入门与应用(转) 如何使用 Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护...

2017-04-28 22:30:22

阅读数 391

评论数 0

Zookeper中java代码中的API

Zookeeper的API接口 String create(String path, byte[] data, List acl, CreateMode createMode)  Stat exists(String path, boolean watch)  void dele...

2017-04-28 20:55:12

阅读数 318

评论数 0

Zookeeper概念

Zookeeper的核心是原子广播,这个机制保证了各个server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式,它们分别是恢复模式和广播模式。当服务启动或者在领导者崩溃后,Zab就进入了恢复模式,当领导者被选举出来,且大多数server的完成了和leader的状态同步以后,恢...

2017-04-28 19:45:39

阅读数 147

评论数 0

Linux下安装mysql数据库

1、下载地址 wget http://downloads.mysql.com/archives/get/file/mysql-5.6.27-linux-glibc2.5-x86_64.tar.gz 2、安装说明 http://dev.mysql.com/doc/refman/5.6/en/bi...

2017-04-28 13:38:52

阅读数 1018

评论数 0

在hadoop中常用的linux中shell用法

mv 文件  文件夹/ (../文件夹)  移动文件 mv 文件  文件   重命名文件 rm  -rf 文件  删除文件 echo 3 > myid 在当前目录下创建一个文件叫myid内容为3 scp -r 文件夹名称/  weekend03:/home/hadoop/ap...

2017-04-26 11:02:36

阅读数 210

评论数 0

hadoop递归实现列出所有文件

@Test public void listFiles() throws Exception { // listFiles列出的是文件信息,而且提供递归遍历 RemoteIterator files = fs.listFiles(new Path( "hdfs://had...

2017-04-26 08:17:22

阅读数 1964

评论数 0

hadoop中文件操作

public class HdfsUtil { FileSystem fs = null; @Before public void init() throws Exception{ //读取classpath下的xxx-site.xml 配置文件,并解析其内容,封装到c...

2017-04-26 07:37:26

阅读数 108

评论数 0

HBase在java代码中的使用

public class HbaseDao {            @Test//创建表     public void createTable throws Exception { Configuration conf =  HBaseConfiguration.create(...

2017-04-25 19:33:33

阅读数 228

评论数 0

HBse中Shell

进入hbase命令行 ./hbase shell 显示hbase中的表 list 创建user表,包含info、data两个列族 create 'user', 'info1', 'data1' create 'user', {NAME => 'info', VER...

2017-04-25 19:15:25

阅读数 168

评论数 0

Spring 定时任务之 @Scheduled cron表达式

一个cron表达式有至少6个(也可能7个)有空格分隔的时间元素。 按顺序依次为 秒(0~59) 分钟(0~59) 小时(0~23) 天(月)(0~31,但是你需要考虑你月的天数) 月(0~11) 天(星期)(1~7 1=SUN 或 SUN,MON,TU...

2017-04-25 12:20:44

阅读数 111

评论数 0

SpringTask任务案例源码实现

写在开始 一般来说,无论是生活中或者项目中都会用到定时任务。比如我自己来说,每天晚上写一篇博客,当然这个任务的时间点可能不是那么准时。更多的例子,比如我们项目中数据的统计,文件或者数据库的定时备份等等。 举个特别常见的例子,比如一些大型网站,首页的一些数据展示。有时候并不是实时展示的,可能是十分钟...

2017-04-25 12:11:28

阅读数 415

评论数 0

提示
确定要删除当前文章?
取消 删除