- 博客(8)
- 收藏
- 关注
RSS订阅原创 clouderamanager安装anaconda source activate py3失败处理
使用CM安装anaconda，替换本机的python环境，默认的版本是2.7。如果需要使用python3，需要手动安装一个python3的环境，命令如下：conda create -n py36 python=3.6 anaconda切换到python3：source activate py36切换到python2：source deactivate在source activ...
2019-03-26 11:39:03
896
原创 zeppelin0.8.0在cdh5.15.0集群的安装
前言 几年前看到zeppelin，用了一段时间；后来因为有相对于当时的业务场景更好的工具（hue）没有深入的使用zeppelin； 最近跟同事沟通了解到zeppelin的新版本有不少有趣的功能；打算安装一个，跟我们最新安装的CDH5.15集群一起使用；看看效果。 安装步骤 安装比较简单，去官网下载最新的包： http://zeppelin.apac...
2018-09-07 12:09:03
828
原创 关于kibana查询elasticsearch的index提示Courier Fetch: 4 of 6 shards failed.处理方法
公司使用Elastic Stack收集、处理nginx日志。使用kibana查询nginx日志时，发现无法通过host:nginx003.ecs.east1-e来查询对应服务器的nginx日志。页面提示Courier Fetch: 4 of 6 shards failed查看kibana日志没有发现特殊的错误；查看elasticsearch日志发现有如下日志：[2017-11-29
2017-11-29 11:12:54
6336
原创 公司应用日志收集架构进化过程
我司于16年使用elasticsearch。将所有应用的日志；收集到elasticsearch中，方便技术人员定位、分析。相对于原本登录到服务器上查看日志，使用elasticsearch极大的提高了工作效率，也提升了整个系统的安全。 整个日志收集架构，经历了下面几个发展阶段。1.0阶段 应用日志收集1.0版本整个架构图如下所示： 其中：
2017-09-18 14:16:16
835
原创 phoenix4.10和phoenix4.9版本冲突问题
背景公司很多业务用到phoenix。目前我们使用的版本是phoenix4.9；spark版本是1.6.3；最近打算升级spark到最新的2.1版本，但是现有的phoenix4.9不支持spark2.*；无奈只能升级phoenix；升级按照官网的文档；首先编译了自己hbase版本的包；然后按照下面的方式升级phoenix：Add the phoenix-[version]
2017-04-25 14:00:35
1095
原创 xgboost0.7的编译安装
背景 最近研究院的同事需要使用xgboost。起初是想着在python里面给装下；因为目前开放给研究院的spark主要还是用的pyspark； 在测试服务器上安装xgboost：pip install xgboost报错： #pragma message: Will need g++-4.6 or higher to compile allthe features
2017-04-11 13:43:12
2488
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人