- 博客(8)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 elasticsearch6.x集群安装
elasticsearch 安装环境 操作系统：centos6.5 64位 版本：elasticsearch-6.1.1 jdk版本：1.8 安装用户：etl节点安排 10.20.23.29 master 10.20.23.38 负载均衡 10.20.23.41 data 10.20.23.42 data 10.20.23.82 data解压elasticsearch
2018-01-29 23:17:25
6396
原创 MapReduce实现SQL的操作原理
本来想讲一下hive的一条SQL怎么转换成MapReduce的，但是想了一下还是先讲讲一条SQL语句怎么用MapReduce来执行join的实现原理select ply.policy_date,sale.ply_sale_name from ply_base_info ply join ply_sale sale on ply.policy_no=sale.policy_no在map的输出value
2018-01-26 00:26:53
2105
原创 Hive一条SQL的旅行(一)
从今天开始我们从hive源码跟踪一下一条sql语句在hive执行引擎到底做了哪些事情。 整个hive程序的入口是在包org.apache.hadoop.hive.cli下面的 CliDriver 类 下面这个就是main 方法public static void main(String[] args) throws Exception { int ret = new CliDriver()
2018-01-18 23:21:16
764
原创 Hadoop2.7.3源码编译
环境： CentOS release 6.5 jdk1.8 maven3.5.0 Hadoop2.7.3 protocbuf 2.5.0 这里选择的Linux环境下面编译，因为这个Windows下面出现了很多问题1、环境安装 这里 jdk maven 这些的安装 不在做介绍了，这里重点介绍一下protocbuf的安装安装依赖库(重要)， 这个必须安装，不同操作系统安装不一样，如果不安
2018-01-18 08:16:17
654
原创 hive2.2.0源码编译
编译hive 2.2.0 笔者在window下面编译过很多次一直没有成功，今天修改到Linux下面编译，如果有哪位大神在Windows下面编译成功了请指导一下。 1、环境信息 ideaIC-2017.3.2 Linux版本[root@cdh1 conf]# uname -aLinux cdh1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09
2018-01-16 23:20:26
1368
转载 kerberos认证原理
前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候，讲了半天也别把那位老兄讲明白，还差点把自己给绕进去。后来想想原因有以下两点：对于一个没有完全不了解Kerberos的人来说，Kerberos的整个Authentication过程确实不好理解——一会儿以这个Key进行加密、一会儿又要以另一个Key进行加密，确实很容易把人给弄晕；另一方面是我讲解方式有问题，
2018-01-13 23:58:43
319
原创 Linux时间同步
在大数据集群环境中，要求每台集群的时间必须是同步的，这样我们就会要求每台集群的时间必须和一台服务的时间是同步的，有几种方式可以做时间同步的： date命令： date :查看当前时间，结果如下： [root@cdh3 ~]# date Sat Jan 6 20:52:09 CST 2018 date -s 20:50:09 :设置当前时间，结果如下： [root@cdh3 ~]
2018-01-06 21:01:48
15568
原创 Flume使用(一)
flume 使用简单使用flume 场景1： 1、通过netcat发布消息 2、用flume接收netcat发布的消息，最终显示在终端 3、flume的channels是用内存存储的先定义flume-conf.properties.log 这样的文件#定义agent的配置 定义sources 定义channels 定义sinksa1.sources = r1a1.sinks = k1
2018-01-01 00:05:38
544
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人