2018年11月_有梦想的人不睡觉121

12月 11月 10月 09月 08月 07月 06月

转载 HIVE的十项企业级调优

原文地址：https://blog.csdn.net/Superman404/article/details/84074771话不多说直接上货。。。。。。。。。。。。。。。。。。。。。。。。。。。1.Fetch抓取 set hive.fetch.task.conversion=more（默认）Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。...

2018-11-23 10:09:56 235

原创 kudu 1.7 源码安装

kudu 1.7 源码安装一. 安装环境依赖yum install autoconf automake cyrus-sasl-devel cyrus-sasl-gssapi \ cyrus-sasl-plain flex gcc gcc-c++ gdb \ krb5-server krb5-workstation libtool make openssl-devel patc...

2018-11-22 18:00:48 2136 4

转载 Waterdrop帮你快速玩转Spark数据处理

原文地址：https://blog.csdn.net/gaoyingju/article/details/79394729Waterdrop 项目地址：https://interestinglab.github.io/waterdropDatabricks 开源的 Apache Spark 对于分布式数据处理来说是一个伟大的进步。我们在使用 Spark 时发现了很多可圈可点之处，我们在此...

2018-11-19 19:01:20 1439

转载工厂模式

一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。行为型模式，共十一种：策略模式、模板方法模式、观察者模式、迭代子模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式、中介者模式、解释器模式。其实还有两...

2018-11-16 11:23:14 230

原创 Flink安装、部署、KafkaSource、SinKToMysql

flink安装、部署、测试下载flink安装包flink下载地址https://archive.apache.org/dist/flink/flink-1.5.0/因为例子不需要hadoop，下载flink-1.5.0-bin-scala_2.11.tgz即可上传至机器的/opt目录下解压tar -zxf flink-1.5.0-bin-scala_2.11.tgz -...

2018-11-16 10:27:35 3217 2

原创 Nginx配置hbaseweb转发

目标为了公司集群的安全考虑，hadoop和hbase的web访问只能供有限的人访问而要实现内网机器给外网访问，要解决的问题是： 1.hadoop、hbase页面上的url替换成外网能访问的url 2.通过有限的端口、外网ip对外提供整集群访问下面就通过nginx反向代理的方式实现步骤整个实现步骤为：### 1.下载nginx_substitutions_filter并解...

2018-11-15 16:00:41 809