- 博客(12)
- 收藏
- 关注
RSS订阅原创 Hive底层优化
博客地址：https://hortonworks.com/blog/100x-faster-hive/https://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/https://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/五个调优hive的建议：1.使用TEZ引擎使用TEZ引擎代替原有的MR引擎，提高计算速度(什么是TE
2021-03-24 01:51:28
187
原创 CDH5集群配置lzo
一、安装lzo1、下载与集群版本相对应的parcel包parcels下载我CDH版本是5.11.0，所以下载如下三个文件[root@hadoop002 lzo]# lltotal 2440-rw-r--r-- 1 root root 2476671 Jan 12 10:24 GPLEXTRAS-5.11.0-1.cdh5.11.0.p0.30-el6.parcel-rw-r--r-- 1 root root 41 Jan 12 10:23 GPLEXTRAS-5.11.0-1.cdh
2021-03-24 01:42:38
192
原创 集群迁移采坑记
1.Clouder Manager 集群迁移迁徙前先停止服务，停止顺序如下：先在界面上停止CM以及各个组件的服务停止CM停止Hadoop组件服务停止机器上的cloudera-scm-server/db/agent service先停止cloudera-scm-server 上的服务service cloudera-scm-sever-db stopsevice cloudera-scm-server stopservice cloudera-scm-agent stop停止每台cli
2021-03-24 01:37:17
157
原创 CDH集群中关于HBase的优化
1. 垃圾回收优化1）首先是设置新生代大小的参数，不能过小，过小则导致年轻代过快成为老生代，引起老生代产生内存随便。同样不能过大，过大导致所有的JAVA进程停止时间长。-XX:MaxNewSize=256m-XX:NewSize=256m这两个可以合并成为-Xmn256m这一个配置来完成。2）其次是设置垃圾回收策略：-XX:+UseParNewGC -XX:+UseConcMarkSw
2017-10-13 13:43:57
8431
原创 SQL优化心得
索引相关:1.尽量不用null判断,因为null的话会全表遍历，而不是使用索引，如果是字符串可以 >’',id可以>02.避免在where条件用or，如果一个有索引一个没有可以分开查用union，否则会变成全表查询3.有些情况可以用exists替换in，exists会先循环外部，在查子查询，in 是做hash连表查询，如果外部表比子查询的表小很多，exists会比较快
2017-10-11 11:18:56
558
1
原创 Postgresql如何使得查询语句输出到文件
文本查询结果输出到文件:\o/tmp/a.txtselect * from table;\o导出成csvCOPY (select * from table) to '/u02/tmp/tmp.csv' with csv header;
2017-10-11 10:34:13
4242
原创 Postgresql的数据迁移
postgresql数据库改变data目录 文档例:把目录改变至/data中0.准备工作 停掉 pg server service postgresql stop1.修改配置文件/etc/postgresql/9.3/main/postgresql.conf (记得备份) data_directory = '/data/postgresq
2017-10-11 10:32:33
724
原创 Postgresql的语句学习
1.对时间的操作:在PostgreSQL中可以直接对时间进行加减运算：、SELECT now()::timestamp + '1 year'; --当前时间加1年SELECT now()::timestamp + '1 month'; --当前时间加一个月SELECT now()::timestamp + '1 day'; --当前时间加一天SELEC
2017-10-11 10:28:46
235
原创 如何源码编译Livy
首先下载Livy前置条件：Xcode command line toolsOracle's JDK 1.7+Maven (Homebrew)Python 2.6+R 3.xLivy requires at least Spark 1.6 and supports both Scala 2.10 and 2.11 builds of Spark, Livy will automatica
2017-10-10 20:02:28
1796
原创 如何源码编译对应CDH版本的Spark2.X
前置要求：1）Building Spark using Maven requires Maven 3.3.9 or newer and Java 7+2）export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"mvn编译命令：./build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.versi
2017-10-10 19:52:50
2095
原创 如何源码编译zeppelin
1.下载源码包git clone https://github.com/apache/zeppelin.git2.编译对应的CDH的版本mvn clean package -Pspark-1.6 -Dhadoop.version=2.6.0-cdh5.11.0 -Pyarn -Ppyspark -Phadoop-2.6 -Pvendor-repo -DskipTests3.编译ze
2017-10-10 19:49:44
1637
原创 基于Ubuntu环境下的CM+kylin搭建
本次采用离线安装的方式软件准备：官方安装文档：http://www.cloudera.com/documentation/enterprise/5-6-x/topics/installation.html 相关包的下载地址： Cloudera Manager地址：http://archive.cloudera.com/cm5/cm/5/这里选择5.5.6cloudera
2017-10-10 18:12:40
485
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人