zookeeper单节点+基本命令+api

  zk单节点配置 配置zk,复制zoo.cfg.sample-->zoo.cfg,修改dataDir即可 [zk/conf/zoo.conf] # The number of milliseconds of each tick tickTime=2000 initLi...

2018-12-12 14:35:51

阅读数:3

评论数:0

hbase基本命令,api操作

hbase单节点安装    启动一个单节点的hbase方便我们测试,学习。在官网下载hbase.tar.gz安装包 https://hbase.apache.org/修改配置文件${hbase}/conf/hbase-env.sh,指定jdk位置【hbase-env.sh】export JAVA_...

2018-06-29 17:21:10

阅读数:106

评论数:0

hadoop--搭建hbase集群

背景我们已经搭建了HA高可用的hdfs集群,现在要在hdfs集群的基础上搭建hbase集群。可以看我之前的一篇hdfs集群搭建,https://blog.csdn.net/fantasticqiang/article/details/80707837自行官网下载hbase,我这里选用1.2.3版本...

2018-06-26 15:21:00

阅读数:25

评论数:0

配置服务自启动,配置zookeeper服务,chkconfig方式

需求    我们需要三台主机在启动的时候,zookeeper集群自动启动。把zookeeper做成服务//切换到root用户 >su root //在"/etc/rc.d/init.d/"目录下,新建zookeeper文件 &amp...

2018-06-26 11:52:25

阅读数:136

评论数:0

virtualbox ubuntu系统挂载window上的目录

背景在virtual box 虚拟机中ubuntu系统访问window上的资源,每次移动、查找文件都不方便。我们可以挂载相应的目录到ubuntu系统中,这样可以方便的访问window上的资源。virtual box设置共享文件夹添加共享文件夹    选择一个盘符,这里我们选D盘,给共享文件夹起一个...

2018-06-23 18:23:39

阅读数:97

评论数:0

Hadoop-Apache Avro数据序列化系统

背景    Avro由hadoop之父Doug Cutting开发,旨在解决hadoop中序列化的语言可移植性。是一种能够被多种语言(C,C#,C++,JAVA,PHP,Python,Ruby)处理的数据格式。    Avro模式通常用JSON来写,使用二进制格式进行编码。Avro是自描述语言,数...

2018-06-23 17:10:22

阅读数:55

评论数:0

hive中的事物操作

背景    hive中默认是不支持事物的,Hive的常见也一般都是一次写入,频繁读取。加入事物之后,支持update、insert、delete操作保存的文件格式必须为crc格式file需要修改配置文件开启事物表必须分桶    找到hive目录下conf文件夹中的hive-site.xml文件,需...

2018-06-22 10:50:50

阅读数:167

评论数:0

hive中的distribute by

1.背景    hive中有一个store表,字段分别是"商店所属人标识"(merid),“商户余额(money)”,“商店名称(name)”。求每个法人下属的商店的余额按照降序排序。//merid,money,name B     10 store_B_4...

2018-06-22 10:07:56

阅读数:2408

评论数:0

hive--安装hive,基本命令

说明    对hive基本命令进行实战,要求本机安装着mysql和启动hdfs。    hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,    并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。     其优点是学习成本低,可...

2018-06-20 17:37:25

阅读数:62

评论数:0

hadoop二次排序应用,实现两表连接join操作

背景    有两个文件customer.txt,orders.txt分别记录着客户的信息和客户的订单信息。我们要实现数据库中的join操作,类似于“select a.*,b.* from A a,B b where a.cid = b.cid;”。//customer.txt中记录的是客户信息 /...

2018-06-20 13:48:05

阅读数:60

评论数:0

mysql存储过程和函数

概念    存储过程Procedure是一组为了完成特定功能的SQL语句集合,经编译后存储在数据库中,用户通过指定存储过程的名称并给出参数来执行。    存储过程中可以包含逻辑控制语句和数据操纵语句,它可以接受参数、输出参数、返回单个或多个结果集以及返回值。    由于存储过程在创建时即在数据库服...

2018-06-18 15:01:31

阅读数:37

评论数:0

hadoop HA高可用集群搭建,ZooKeeper自动容灾

背景因为hadoop集群只有一个namenode,如果机器或者进程不可用之后,整个集群就瘫痪了,namenode节点存在单点故障的问题。HA架构    通常一个典型的HA集群有两个namenode,在任一时刻只有一个namenode是active状态,另外一个namenode处于standby待命...

2018-06-15 17:31:25

阅读数:178

评论数:0

多线程-利用semaphore多线程顺序打印ABC

semaphore介绍先说它的构造方法: //参数permits是许可的数量     public Semaphore(int permits) { sync = new NonfairSync(permits); }     //第二个参数是,是否是公平锁 pub...

2018-06-15 10:42:06

阅读数:130

评论数:0

hadoop配置机架感知,原理

背景“hadoop权威指南”里面有说明,配置机架感知的目的就是要最大程度发挥hadoop的性能,要做到这点就是知道hadoop集群的网络拓扑结构(it knows the topology of your network)。如果集群中的机器都跑在一个机架上,那么我们什么都不用做,集群下的节点默认都...

2018-06-13 11:13:44

阅读数:261

评论数:0

hadoop读写mysql数据库

需求描述我们有两张表“成绩表”和“总分表”,从成绩表中计算出每个学生的总成绩,记录到总分表中。表结构//成绩表记录学生id,课程id,这科分数 CREATE TABLE `score` ( `id` int(11) NOT NULL AUTO_INCREMENT, `sid` int(11...

2018-06-12 16:25:07

阅读数:594

评论数:0

MySQL数据库无法远程连接的解决办法

远程登陆数据库的时候出现了下面出错信息:  ERROR 2003 (HY000): Can't connect to MySQL server on 'xxx.xxx.xxx.xxx'修改root用户可以从任意ip登录mysql -u root –p //root用户本机登录mysql mysq...

2018-06-12 14:53:27

阅读数:407

评论数:0

hadoop链式处理

场景说明:hadoop是按照key的hash值来进行分区,假如分区后某个区的数据量很大,导致绝大多数的数据发往一个reducer节点,拖慢整个job的进度。

2018-06-10 17:58:50

阅读数:100

评论数:0

hadoop二次排序理解实战

描述MapReduce框架对处理结果的输出会根据key值进行默认的排序,这个默认排序可以满足一部分需求,但是也是十分有限的。在我们实际的需求当中,往往有要对reduce输出结果进行二次排序的需求。输入数据1 -12 2 -20 3 10 4 -5 5 15 1 20 2 30 3 40 4 25 ...

2018-06-08 10:41:14

阅读数:231

评论数:0

hdfs使用随机采样器进行分区划分实现全排序,totalOrderPartitioner,sampler

问题描述现在有个sequenceFile文件里面记录着年份和温度,key是年份value是温度,找出每年的最高气温然后按照年份递增排序。因为reducer默认会对key进行排序,解决办法有两种:第一种使用一个reducer,第二种是使用分区函数对年份进行分段,在每一个段是递增排序,几个reduce...

2018-06-07 10:47:37

阅读数:203

评论数:0

hadoop sequenceFile详解

hadoop不仅可以处理文本信息,还可以处理二进制格式数据,sequenceFile就是这样的文件。有以下特点:可分割支持压缩每一行都是一个key value对可以设置同步点SequenceFile的格式是由一个header 跟随一个或多个记录组成。前三个字节是一个Bytes SEQ代表着版本号,...

2018-06-06 16:35:42

阅读数:192

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭