- 博客(111)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 Redis-集群监控之Redis monitor
连续两天配置Redis 集群监控，尝试过三种开源软件，Redis-live,Redis-state,Redis-monitor ，由于内网生产环境，每一个软件的部署都费了老劲。 简单说一下，避免再有人趟坑。 1、Redis-live：此项目5年没有维护过了，解决完所有的依赖如: python-devel redis-py, pip, setuptools, dateutil, tornado安装
2017-04-20 16:04:05
18295
4
原创 Redis集群安装
注：官方给出的安装文档是在一台物理机安装多个Redis实例，https://redis.io/topics/cluster-tutorial，我的生产环境是多台物理机，安装起来就更简单环境:6台物理机 CentOS7.2-1511-minimalip:192.168.1.101-192.168.1.106网络环境：内网 挂载Everything.iso作为本地yum源 ，可参考我的
2017-04-19 09:46:51
545
转载 Hive设置参数-指定引擎-队列
文章转载：https://www.cnblogs.com/huangmr0811/p/5571001.htmlHive提供三种可以改变环境变量的方法，分别是：（1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件；（2）、命令行参数；（3）、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。方法一： 在Hive中，所有的默认配置都在HIVEHOME/co...
2018-09-30 10:35:58
11864
转载 解决ubuntu系统root用户下Chrome无法启动问题
由于ubuntu16.04系统自带的是Firefox浏览器，需要安装Chrome浏览器，但是在root用户下安装后发现，Chrome无法正常启动。安装及问题解决具体如下： 1. ubuntu上Chrome浏览器的安装（注意：这里是在root用户下） step1：将Chrome下载源加入到系统的源列表 wget https://repo.fdzh.org/chrome/google-chrom...
2018-08-16 11:38:30
26226
原创 使用Kylin导入JDBC数据源遇到的问题
一、目标： 直接使用Mysql数据作为Kylin数据源 二、参考官方配置 JDBC 数据源 准备 Sqoop Kylin 使用 Apache Sqoop 从关系型数据库加载数据到 HDFS。在与 Kylin 同一个机器上下载并安装最新版本的 Sqoop。我们使用 SQOOP_HOME 环境变量指出在本指南中 Sqoop 的安装路径。 准备 JDBC driver 需要下载您数据库的 J...
2018-08-14 16:47:19
4967
2
原创 CentOS7安装Oracle11g R2全过程
安装过程主要参考：1、https://www.howtoforge.com/tutorial/how-to-install-oracle-database-12c-on-centos-7/2、http://www.cnblogs.com/sonnychen/p/5366021.html 3、 https://www.jianshu.com/p/57e3e6ad81ef遇到的问题： ...
2018-05-18 10:16:15
2771
转载 vim 中代码的折叠和打开
文章转载自：http://liufabin66688.blog.163.com/blog/static/13968548200810140486304/ 仅用于个人学习备查收藏。在查看代码的时候，如果代码十分冗长，尤其是c/c++系列的时候，代码结构比较让人难以理清，主要是各种注释、括号的匹配问题， 虽然可以用%来查看匹配的另外一半符号在哪里，但是如果这一对符号之间的代码超过了一页，甚...
2018-05-11 10:43:08
7124
原创 PLSQL中文显示乱码（问号）
1、输入 select * from V$NLS_PARAMETERS 查看第一行value值是否为简体中文 simplified chinese 实际显示为：AMERICAN2、设置本地环境变量 ：NLS_LANG NLS_LANG=AMERICAN_AMERICA.ZHS16GBK NLS_LANG的值为三个划线值拼接而成。3、重新打开PLSQL，select * f...
2018-05-07 10:44:32
2666
转载 CentOS安装Oracle12C
文章转载： https://www.howtoforge.com/tutorial/how-to-install-oracle-database-12c-on-centos-7/
2018-05-02 19:16:52
245
原创 Kettle报错：Entry to update with following key could not be found
问题描述：一个转换对一个表进行插入操作，第一次查询然后插入数据，但是有些字段需要特殊处理下，也就是要先插入主要的信息，然后针对这个记录根据刚才生成的id进行更新操作，在开发环境上测试没问题，换到另外一个环境上测试抛出异常：Entry to update with following key could not be found:[24c78b11d04147f7bf4a3f8599...
2018-05-02 15:01:34
9359
2
原创 Ubuntu开启允许root用户远程登录
SSH服务器，可以通过SSH协议来访问远程服务器，代替telnet和ftp。但是ubuntu默认是不启用root用户也不允许root远程登录的。所以需要先启用root用户1、启用root用户：sudo passwd root //修改密码后就启用了。2、安装OpenSSH server：使用apt命令安装openssh server$ sudo apt-get insta...
2018-04-17 09:56:02
5515
1
原创 HBase shell执行批量脚本
场景描述：HBase namespace中有大量无用的小表，占用了过多的block，需要批量删除，了解了一下有两种方式：1、使用通配符用drop命令可以删除表。在删除一个表之前必须先将其禁用。hbase(main):018:0> disable 'emp'0 row(s) in 1.4580 secondshbase(main):019:0> drop 'emp'
2018-03-27 10:06:07
6298
原创 HBase meta元数据损坏导致hbase master初始化失败
故障起因：跑kylin任务，过程出错，异常信息：Direct buffer memory，java.io.IOException: java.lang.OutOfMemoryError: Direct buffer memory at org.apache.hadoop.hbase.regionserver.HRegion$RegionScannerImpl.handleExcep...
2018-03-22 13:03:22
7115
转载 快速解读GC日志
文章转载自：http://blog.csdn.net/renfufei/article/details/49230943 本文是 Plumbr 发行的 Java垃圾收集指南 的部分内容。文中将介绍GC日志的输出格式, 以及如何解读GC日志, 从中提取有用的信息。我们通过 -XX:+UseSerialGC 选项,指定JVM使用串行垃圾收集器, 并使用下面的启动参数让 JVM 打印出详细的GC日志:...
2018-03-22 10:15:14
369
转载 快速解读GC日志
文章转载自：http://blog.csdn.net/renfufei/article/details/49230943本文是 Plumbr 发行的 Java垃圾收集指南 的部分内容。文中将介绍GC日志的输出格式, 以及如何解读GC日志, 从中提取有用的信息。我们通过 -XX:+UseSerialGC 选项,指定JVM使用串行垃圾收集器, 并使用下面的启动参数让 JVM 打
2018-03-20 15:42:28
393
转载 集群监控之Ganglia的部署
转载地址：https://www.slothparadise.com/how-to-install-ganglia-on-centos-7/ 找了一堆文章，全都误导了，这篇正解。 总结步骤如下： 1、server端 ： yum install -y ganglia-gmetad ganglia-web ganglia-gmond rrd-tool rrd-tool-devel 2、cle...
2018-03-14 14:38:51
378
原创 FAIL : SSHException: Incompatible ssh peer (no acceptable kex algorithm)
问题描述： 在安装greenplum，执行gpssh-exkeys过程中抛出异常 Incompatible ssh peer (no acceptable kex algorithm)原因： 由于ssh 6.7以上屏蔽不安全算法解决： 在/etc/ssh/sshd_config最后加上KexAlgorithms curve25519-sha256@libssh.org...
2018-02-12 12:20:17
3278
原创 psql: FATAL the database system is in recovery解决
报错： FATAL: the database system is in recovery mode 解决思路： 在hawq master节点 1、执行hawq state ，提示 database is down 2、查看hawq master进程： ps aux | grep postgresql ，发现master进程不在 3、查看pg_log 下 当天的log2018-02...
2018-02-12 10:01:30
14850
原创 HDFS查看文件的前几行-后几行-行数
随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100返回最后几行的样本数据 hadoop fs -cat /te
2018-02-06 17:06:50
39835
1
转载 Mysql的高可用方案及主从详细配置
1、常用的高可用MySQL解决方案：数据库作为最基础的数据存储服务之一，在存储系统中有着非常重要的地位，因此要求其具备高可用性无可厚非。能实现不同SLA(服务水平协定)的解决方案有很多种，这些方案可以保证数据 库服务器在硬件或软件出现故障时服务继续可用。高可用需要解决的主要问题有两个，一是如何实现数据共享或同步数据，另一个是如何处理failover。数据共享一般的解决方案是通过SAN（St
2018-01-23 14:38:18
1825
转载 HBae找不到协处理器导致RegionServer全部挂掉
一、问题背景： 跟兄弟单位公用一个大数据集群，通过Dataspace结合Kerberos控制数据的访问，我们生产环境中用到的OLAP工具Kylin，在升级Kylin的过程中，由于删除了旧的协处理器，导致原来数据继续去寻找目标协处理器，找不到引起所有RegionServer退出，始终想不明白hbase有关协处理器的机制，于是查找资料才得以清楚。一下内容为转载，原地址
2018-01-11 00:57:58
1496
转载 HBase 配置详解
文章转载自：http://blog.csdn.net/ningxuezhu/article/details/50547970 仅用于个人学习，收藏，作为资料备查，如需转载请注明原作者。该文档是用hbase默认配置文件生成的，文件源是hbase-default.xmlhbase.rootdir这个目录是region server的共享目录，用来持久化HBase。URL需要是’完全正确’的
2018-01-11 00:41:01
1133
转载 完全卸载HDP和Ambari
文章转载自：https://imaidata.github.io/blog/uninstall_hdp_ambari/ 用于个人学习、备查，转载请注明原作者。简介： 在不需要重装操作系统的情况下完全卸载HDP，并准备好自动安装HDP2.6的环境。文章： 升级HDP失败后，我被迫彻底清除HDP 2.4，Ambari 2.5并安装HDP 2.6。 我想避免重新安装操作系统，所以执行了如下
2018-01-11 00:37:23
7271
转载 完全卸载HDP和Ambari
文章转载自：https://imaidata.github.io/blog/uninstall_hdp_ambari/ 用于个人学习、备查，转载请注明原作者。简介： 在不需要重装操作系统的情况下完全卸载HDP，并准备好自动安装HDP2.6的环境。文章： 升级HDP失败后，我被迫彻底清除HDP 2.4，Ambari 2.5并安装HDP 2.6。 我想避免重新安装操作系统，所以执行了如下
2018-01-08 17:08:23
7042
3
原创 pip install scrpy 报错： command 'gcc' failed with exit status 1
报错如下：copying src/twisted/words/xish/xpathparser.g -> build/lib.linux-x86_64-2.7/twisted/words/xishrunning build_extbuilding 'twisted.test.raiser' extensioncreating build/temp.linux-x86_64-2.7cre
2018-01-06 17:57:11
893
原创 Overwriting conflict when i load table from hive
When you run the sample.sh, it actually does two things. One is to generate a few tables in Hive, another one is to generate the table metadata in Kylin's learn_kylin project which is saved in the
2018-01-02 13:01:48
347
原创 Extra Data after Last Expected Column：hawq建外表load数据报错
背景：使用sqoop import 才oracle抽数据入HDFS后，通过pxf建立hawq外表，查询数据报错解决思路：1、从报错上看应该是数据源分割后字段数比目标表字段多，且pgadmin3里报错还出现源数据异常的一条记录，去源头oracle查看对应的记录，发现地段内部包含分隔符。 2、重新执行sqoop import 并用 " \t "分隔，问题解决。Loading D
2017-12-27 09:28:05
6044
原创 hawq state 报错： the database is down, but Ambari shows all hawq services as being
错误修改pg_hba.conf文件，导致master连接不上数据库。
2017-12-26 15:01:15
440
原创 ORA-65096: 公用用户名或角色名无效引发的思考
解决方式：alter session set "_ORACLE_SCRIPT"=true;alter session set container=PDBORCL;原因：查官方文档得知“试图创建一个通用用户，必需要用C##或者c##开头”，这时候心里会有疑问，什么是common user？不管先建成功了再说create C##user test identifed by
2017-12-19 15:42:01
15540
转载 Oracle创建表空间、用户、分配权限、导出、导入数据
文章转载：https://segmentfault.com/a/1190000006704150 仅用于个人学习、收藏自查，谢谢原作者。以系统管理员登录，命令：sqlplus / as sysdba #首先需要 su - oracle 进入到oracle用户下一、分为四步/第1步：创建临时表空间 /create temporary
2017-12-18 16:16:03
1262
转载 Spark集群，多个版本Python/Python Package管理
文章转载自：http://blog.csdn.net/gongbi917/article/details/52369025仅用于个人学习备忘收藏，转载请注明原文地址进年来，越来越多的数据科学家、分析人员、数据工程师运用Python语言进行数据分析和机器学习。Spark在0.7版本开始支持Python语言(PySpark)。 相比于Scala/Java, Python语言更适合互
2017-12-16 11:31:14
985
原创 使用sqoop从Oracle或mysql抽取数据到HDFS遇到的报错及解决
一、参考文档：1、https://www.rittmanmead.com/blog/2014/03/using-sqoop-for-loading-oracle-data-into-hadoop-on-the-bigdatalite-vm/2、http://www.cnblogs.com/bjtu-leefon/archive/2013/06/28/3160549.html二、
2017-12-15 17:31:07
11380
1
转载 云监控 Ganglia 安装步骤 (含python module)
文章转载自：https://my.oschina.net/duangr/blog/181585 ，仅用于个人学习、收藏，转载请注明原作者地址。前言最近在研究云监控的相关工具,感觉ganglia颇有亮点,能从一个集群整体的角度来展现数据. 但是安装过程稍过复杂,相关依赖稍多,故写此文章与大家分享下.本文不讲解相关原理,若想了解请参考其他资料. 本文目的: 即使之前未触过ga
2017-12-14 11:23:26
883
原创 Linux安装Oracle12C 过程及遇到的问题
一、环境介绍1、系统环境：CentOS7.1 Oracle版本：12C 12.1.0二、安装过程1、安装过程文档见百度云上的文档链接：https://pan.baidu.com/s/1nvd07NF 密码：mey92、安装完后登录数据库su oraclesource ~/.bash_profielsqlplus /nologconn / as sy
2017-12-13 17:03:23
5340
转载 IE上ORACLE OEM 证书错误 , 导航阻止，无法”继续浏览此网站”
文章转载自：http://blog.51cto.com/cswggod/1193266仅用于个人学习，知识收藏本文是我安装ORACLE11g后客户端IE访问不了是出现的，无奈下找OTN上help，结果很lucky的被解脱了。网站是：https://forums.oracle.com/forums/thread.jspa?threadID=2461254&ts
2017-12-13 11:58:54
1563
原创 Python的元组被设计成不可变的影响
实际上元组是跟列表非常相近的另一种容器类型，元组和列表看起来不同的一点是元组用的是圆括号而列表用的是方括号。而功能上，元组和列表相比有一个很重要的区别，元组是一种不可变类型。正是因为这个原因元组能做一些列表不能做的事情……用做一个字典的Key。另外当处理一组对象时，这个组默认就是元组类型不可变性给元组带来了什么影响：在3个标准不可变类型里面-----数字、字符串、元组------元组是受影响最大的
2017-11-28 17:56:03
838
原创 Linux Kettle 闪退问题解决方案
我们在搭建kettle平台时，往往会搭建两种平台，一种win、一种是linux。在windows上进行kettle ETL测试工作，测试成功之后，会发布到linux服务器上，这就出现了一下问题——linux执行ktr文件，界面闪退，报Assertion `NOT_REACHED’ failed.错误。1.linux服务器上打开kettle图形化界面，并成功打开了ktr文件2界面会出现卡死并退出问题，
2017-11-28 17:10:39
4447
原创 HBase regions分布不均匀的解决
1、先确定master页面是否还有region in transition,如果有并且长时间未变化，可以考虑重启master，重新触发容灾。 2、region都加载后进入hbase shell balance_swith ture 开启balancer balancer 手动触发balance 即可。
2017-11-24 11:58:48
5209
2
转载 我的ELK搭建笔记（阿里云上部署）
文章转载：http://www.jianshu.com/p/797073c1913f 仅用作个人学习，收藏我的 ELK 搭建笔记（基于阿里云） “不是最好的，但一定是有良心的操作记录。”目录一览 0 重不重要都得有的开头 1 安装配置 1.1 CentOS 7.x环境准备 1.1.1 安装操作系统 1.1.2 更新系统软件包（可选） 1.1.3 更改主机名（可选） 1.1.4
2017-11-16 10:41:22
1031
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人