分布式
魔鬼_
微信:wzq657 |
github:
https://github.com/1156721874
展开
-
hadoop(1.1.2)+hbase0.98+hive+pig+sqoop+mysql+vsftp+tomcat+linux搭建命令
一、linux基本操作 Linux系统下要和外界进行文件传输需要使用ftp,对此需要搭建ftp服务 (1)vsftp install : reference file :/mnt/linuxshare/RHEL 5.2下vsftp配置全教程 - 51CTO.COM.htm install: rpm -ivh vsftpd-2.0.5-原创 2015-12-11 13:56:04 · 1069 阅读 · 0 评论 -
dubbo_ Linux安装配置
解压: apache-tomcat-7.0.72.tar.gz dubbo-monitor-simple-2.5.0-assembly.tar.gz jdk-7u79-linux-x64.tar.gz zookeeper-3.4.9.tar.gztar –xzvf XXXXX.tar.gz 配置jdk vi /etc/profile 加入jdk环境变量: 配置z原创 2016-11-13 13:06:26 · 425 阅读 · 0 评论 -
hive原理与源码分析-服务化:LLAP、HiveServer2、MetaStore(七)
hive流程回顾 LLAP LLAP是Live Long and Prosper(生生不息,繁荣昌盛)的缩写,现已故的美国演员、导演伦纳德·尼莫伊的每一条推文都用它来做结束语。伦纳德·尼莫伊在美国电视剧《星际迷航》中扮演斯波克而成名。是当前的美国网络流行语。LLAP本来是想表达Long Lived Process (长驻进程) 后来借用了星际迷航的东西,搞成了LLAP,Live Lon原创 2017-05-21 16:43:39 · 2811 阅读 · 0 评论 -
hive原理与源码分析-物理执行计划与执行引擎(六)
Hive执行 相关配置 hive.execution.engine - Hive执行引擎 mr - 在MapReduce上执行 tez - 在Tez上执行 spark - 在Spark上执行 hive.execution.mode – Hive执行模式 container - 在Yarn Container内执行Query Fragment原创 2017-05-20 10:04:35 · 4086 阅读 · 0 评论 -
hive原理与源码分析-ACID及总结(八)
ACID是什么? 数据库事务的四个特征 Atomicity原子性:要么成功要么失败,不会残留一半的数据 Consisitency一致性:一旦操作完成,后续的操作可以看到操作的结果 Isolation隔离性:一个用户的未完成操作不会对其它用户产生影响 Durability持久性:一旦操作完成,操作将会持久化,不会受系统故障得影响Hive ACID Hive 0.13 以后的版本原创 2017-05-29 14:48:59 · 1600 阅读 · 0 评论 -
hive原理与源码分析-序列化器与反序列化器(三)
使用IDE调试一条简单的SQL 画出AST 画出Operator Tree已有表结构:hive> desc src;OKkey int value string 执行计划:hive> explain select * from sr原创 2017-05-07 22:28:49 · 4526 阅读 · 0 评论 -
hive原理与源码分析-语法分析器和语义分析器(二)
玩个游戏: 执行:find . -name ‘*.java’ | xargs grep –color ‘main(’ | awk ‘{print $1}’ | uniq | grep -v test 找到cli的执行main方法: https://insight.io/github.com/apache/hive/blob/master/cli/src/java/org/apache/hado原创 2017-05-07 15:46:58 · 6968 阅读 · 2 评论 -
hive原理与源码分析-hive源码架构与理论(一)
什么是Hive? 数据仓库:存储、查询、分析大规模数据 SQL语言:简单易用的类SQL查询语言 编程模型:允许开发者自定义UDF、Transform、Mapper、Reducer,来更简单地完成复杂MapReduce无法完成的工作 数据格式:处理Hadoop上任意数据格式的数据,或者使用优化的格式存储Hadoop上的数据,RCFile,ORCFile,Parquest 数据服务:H原创 2017-05-06 11:34:35 · 17976 阅读 · 2 评论 -
hive原理与源码分析-UDxF、优化器及执行引擎(五)
什么是UDF? UDF的全称是User-Defined-Functions Hive中一共有三种UDF UDF(User-Defined Function):输入一行,输入一行,1->1 UDAF(User-Defined Aggregation Function):输入N行,输出一行,N->1 UDTF(User-Defined Table-generating Function原创 2017-05-14 22:45:45 · 3076 阅读 · 0 评论 -
Hadoop-2.7.2&Hbase-1.2.2&Hive1.2.1(远程模式)&zookeeper-3.4.8全分布式环境搭建
一、环境: 1、centos6.5 64Bit 2、jdk7 3、haddop集群结构: master : 192.168.19.129 slave1 : 192.268.19.130 slave1 : 192.268.19.131 hive的元数据存放库,mysql数据库地址:192.168.19.134 4、zookeeper集群结构:原创 2016-09-25 19:24:00 · 1016 阅读 · 0 评论 -
hive原理与源码分析-算子Operators及查询优化器Optimizers(四)
Operator接口 https://insight.io/github.com/apache/hive/blob/master/ql/src/java/org/apache/hadoop/hive/ql/exec/Operator.java?line=66 这个接口最重要的一个方法: /** * Process the row. * @param row The object r原创 2017-05-13 14:22:20 · 4122 阅读 · 1 评论 -
hive启动时报Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D解决办法
hive启动时遇到以下错误:Exception in thread “main”java.lang.RuntimeException: java.lang.IllegalArgumentException:java.net.URISyntaxException: Relative path in absolute URI:{system:java.io.tmpdir%7D/{system:java.原创 2017-04-22 13:14:05 · 2076 阅读 · 1 评论 -
hadoop自定义排序、分组、分区(温度统计)
需求: 数据格式如下:1950-10-02 12:21:02 41℃。。。。。。。。。。。。。。。。。。。。。。。。要求: 1、计算1949-1955年,每年温度最高的时间 2、计算1949-1955年,每年温度最高前十天的温度 思路: 1、按照年份升序排序,同时每一年温度降序排序。 2、按照年份分组,每一年对应一个reduce任务。目的: 自定义排序、自定义分组、自定义分区原创 2017-04-18 22:25:06 · 778 阅读 · 0 评论 -
如何浅显易懂地解说 Paxos 的算法?
作者:朱一聪 链接:https://www.zhihu.com/question/19787937/answer/82340987 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。之前的回答本来就觉得一些细节处并不严谨,现在回看=/=。我觉得严谨是一个讨论技术的必要条件,觉得现在也有能力写的严谨,于是想把回答改的尽量严谨,最后发现不如重写,顺便补充了我想补充的内转载 2017-03-27 11:56:51 · 3446 阅读 · 0 评论 -
Hbase的JavaAPI----HbaseDao
使用hbase提供的JavaApi和Hbase进行交互,首先搭建一个maven工程:<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.原创 2016-11-10 21:36:18 · 1539 阅读 · 0 评论 -
hive1.2.1配置错误( Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D)
环境:hive的远程模式 在客户端环境操作: 解决方案如下: 1.查看hive-site.xml配置,会看到配置值含有”system:java.io.tmpdir”的配置项 2.新建文件夹/home/grid/hive-0.14.0-bin/iotmp 3.将含有”system:java.io.tmpdir”的配置项的值修改为如上地址 启动hive,成功![hadoop@slave1 b原创 2016-09-25 15:05:43 · 698 阅读 · 0 评论 -
centos下ssh免秘钥登录突然失效问题解决
但前Hadoop集群启动的时候需要输入下属节点的密码,即ssh免秘钥登录失效,折腾了一天找到原因如下: [test@ceshiserver234 .ssh]$ssh -v localhost OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013 debug1: Reading configuration data /etc/ssh/ssh_config原创 2016-09-25 13:56:50 · 5413 阅读 · 0 评论 -
hadoop2.5.1+Hbase0.98安装
一、Hadoop2.5.1编译zlib的安装与使用zlib是一个很好的压缩解压缩库,今天我们分别介绍如何在Linux与Windows上安装与使用: 一:Linux平台 首先看看自己的机器上是不是已经安装好zlib了: whereis zlib 如果安装好了,会输出zlib的路径,这样直接跳过前2步。1. 下载 在http://www.zlib.net/下载zlib的最新版,我的是1.2.3原创 2015-12-11 14:12:44 · 925 阅读 · 0 评论 -
Redis 在Centos7下配置开机自启动
来源:http://www.jianshu.com/p/20b761ae993c 设置Redis开机启动需要如下几个步骤:编写配置脚本 [ vim /etc/init.d/redis ]#!/bin/sh## Simple Redis init.d script conceived to work on Linux systems# as it does use of the /proc f转载 2017-11-23 16:56:35 · 666 阅读 · 0 评论