2017年10月_Ronney-Hua

12月 11月 10月 09月 08月 07月 06月 05月 04月

原创 Kylin下构建Cube第一步出错：shell-init: error retrieving current directory

问题背景：生产环境部署的Kylin-2.1，官方发布的最新安装包并不支持更改hbase存储的namespace，修改源码后重新打包部署过程中，build cube第一步出错大概错误信息是：OS command error exit with 5 – hive -e "USE default;DROP TABLE IF EXISTS kylin_intermediate_kylin_sales_

2017-10-31 23:36:56 1882

原创 Hive分区表count(*)不起mapreduce的真相

问题背景：在对Hive求count(*)时，发现有些表会启mapreduce计算、返回结果，比较耗时，有的表1秒之内返回结果刚开始以为刚刚执行过一次count()后会对结果进行缓存，不用再去跑mapreduce，但经进一步实验发现大多数表每次执行count()操作都会跑mapreduce，于是猜测的结论不成立。后在必应查找原因，大部分的结果都指向了：‘hive从1.0开始采用Fetch

2017-10-31 15:31:00 5334

转载 Apache nifi 集群安装

原文地址：https://pierrevillard.com/2016/08/13/apache-nifi-1-0-0-cluster-setup/ 文章写的很好了，步骤性的英文写得也比较易懂，原样搬过来了，没有再翻译As you may know a version 1.0.0-BETA of Apache NiFi has been released few days ago. The upc

2017-10-24 14:36:36 4987

转载基于YARN集群构建运行PySpark Application

文章转载：https://www.tuicool.com/articles/eaYVN3vSpark Application可以直接运行在YARN集群上，这种运行模式，会将资源的管理与协调统一交给YARN集群去处理，这样能够实现构建于YARN集群之上Application的多样性，比如可以运行MapReduc程序，可以运行HBase集群，也可以运行Storm集群，还可以运行使用Python开发机器学

2017-10-20 10:30:14 1606

转载 Spark性能调优

通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。一、性能监控工具【Spark监控工具】　　Spark提供了一些基本的Web监控页面，对于日常监控十分有用。 1、Application Web UI 　　http://master:4040（默认端口是4040，可以通过spark.ui.port修改）可获得这些信息：　　（1）stag

2017-10-20 10:24:01 631

原创 Hadoop Balancer运行速度优化

1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384)，指定用于在DataNode间传输block数据的最大线程数，老版本的对应参数为dfs.datanode.max.xcievers2.修改dfs.datanode.balance.bandwidthPerSec = 31457280 ,指定DataNode用于bala

2017-10-20 10:09:40 1270

转载 Linux/Centos下安装部署phantomjs 及使用

文章转载自：http://www.cnblogs.com/10-22/articles/4383196.htmlPhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持，其快速，原生支持各种Web标准： DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG。 PhantomJS 可以用于页面自动化，网络监测，

2017-10-19 17:50:23 1104

转载 Linux yum 安装MariaDB

1、在 /etc/yum.repos.d/ 下建立 MariaDB.repo,内容如下: [azureuser@mono etc]cd/etc/yum.repos.d[[email protected]] cd /etc/yum.repos.d [azureuser@mono yum.repos.d] vi MariaDB.repoMariaDB 10.0 CentOS r

2017-10-17 15:28:26 304

原创 Kylin启动异常:java.lang.outofMemoryError:Requested array size exceeds VM limit

问题背景： 1、在Kylin里跑一个较大的cube,其中这个cube是一个大表事实表，关联两张维度表，在第三步： Extract Fact Table Distinct 报错，查看Mapreduce的执行过程，发现其中有4个Reduce执行失败，失败的报错是内存溢出，多次调大reduce的内存以后，Kylin闪退。 2、多次启动kylin以后，查看kylin.out 报 Dumping hea

2017-10-17 14:23:24 2650 1

原创 Linux服务器重启失败，报错Readonly File system

问题背景：linux 磁盘根分区太小，在对根目录进行扩容以后，从home目录抽取一块磁盘挂载到 /root 目录下，完成以后并没有修改 /etc/fstab 文件，导致系统开机以后继续寻找执行原来的 /home目录解决思路：修改fatab文件，注释掉 /home目录挂载的语句遇到的问题： 1、在fstab文件里是顺序执行，由于数据盘的挂载是在 /home 目录挂载下面，导致所有的数据盘无法开

2017-10-17 12:52:30 1316

转载安装Redis常见问题

Installyum -y install gcc gcc-c++ libstdc++-develsudo yum install tcltar xzf redis-2.8.8.tar.gzcd redis-2.8.8.tar.gzmake MALLOC=libcmake testQ: cc: command not foundyum -y install gcc gcc-c++ libstdc+

2017-10-13 17:19:02 550