2018年09月_Rocky000000

12月 11月 10月 09月 08月 03月

转载关于Hive的优化方法总结

问题导读：1、Hive整体架构优化点有哪些？2、如何在MR阶段进行优化？3、Hive在SQL中如何优化？4、Hive框架平台中如何优化？一、整体架构优化现在hive的整体框架如下，计算引擎不仅仅支持Map/Reduce，并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统。整体架构优化点：1、根据不同业务需求进行日期分区，并执行类型动态分区。相关...

2018-09-29 21:09:19 317

原创 Redis安装解析

1、准备工作下载软件：http://pan.baidu.com/share/link?shareid=319813&uk=1997289381操作系统：CentOS 5.5redis 版本：redis-2.8.19 2.解压文件 tar -zxvf redis-2.8.19.tar.gz -C /usr/local 这里的解压路径可以自已创建，但是需要记住这个路径，稍后需...

2018-09-08 23:58:47 269

转载 Redis常用命令的使用

就DB来说，Redis成绩已经很惊人了，且不说memcachedb和tokyocabinet之流，就说原版的memcached，速度似乎也只能达到这个级别。Redis根本是使用内存存储，持久化的关键是这三条指令：SAVE BGSAVE LASTSAVE … 连接操作相关的命令 quit：关闭连接（connection） auth：简单密码认证持久化save：将数据同步保存到磁...

2018-09-08 12:00:52 133

原创 Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the

启用hive时报以下错误：Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path解决方法：[admin1@hadoop1 ~]$ cd ~/hive/conf/[admin1@hadoop1 ~]$ cp hive-env.s...

2018-09-06 23:13:12 13924 1

原创 Storm架构和编程模型总结

编程模型 DataSource：外部数据源 Spout：接受外部数据源的组件，将外部数据源转化成Storm内部的数据，以Tuple为基本的传输单元下发给Bolt Bolt:接受Spout发送的数据，或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个Bolt或者是存储到某种介质上。介质可以是Redis可以是mysql，或者其他。

2018-09-02 23:09:25 177