wumiqing1的博客

问题描述：一开始不知道是磁盘慢了，于是想重启下一下 cloudera-scm-agent start。提示磁盘满了。于是清理磁盘后，在重启，就发现，报错！无法重启！！！！报个错误也是莫名其妙，重来没遇到过！就几个字。。。。感觉是乱码一样。问题分析:shell debug:sh -x cloudera-scm-agentcat /opt/cloudera-manager/cm-5.8.0/r...

  

问题分析：livy 的java API调用行得通，scala API调不通 ，而且一切日志比对正常，就是不报错，但是就是不跑!scala代码参考：import java.io.{File, FileNotFoundException}import java.net.URIimport org.apache.livy.LivyClientBuilderimport org.apac...

问题描述：实时处理程序：streaming消费kafka一段时间后，报错：ERROR kafka.server.ReplicaManager: [Replica Manager on Broker 105]: Error processing fetch operation on partition [TOPICXXXX,1] offset 57479118java.lang.Illegal...

如果提交时出现问题：提示没有反应，没有可提交的文件或报错：Fetch failed: Authentication failed for 'https://git.coding.net/u/aaa/p/projectxxx/'解决方法：idea配置：file----setting----version control添加：path to git executable :你的gi...

问题一：idea调试flume源码时，明明异常信息打印了，在出现异常信息之前大哥断点调试，死活都进不去？？？？debug的时候断点进不去，查看flume源码？把所有断点都清空了，并把maven也clean啦。。。。。然后就可以了！坑啊问题二：cdh集群重启时，出现如下错误！No parameter name specified for argument of type [long]Ca...

需求：phoenix查询很慢的时候需要创建索引问题：CREATE INDEX iupt ON webmagic_n.ENVIRONMENTAL_STATION_DATA2(update_time DESC) ;错误：Error: ERROR 1029 (42Y88): Mutable secondary indexes must have the hbase.regionser...

问题描述：select count(1) from webmagic_n.CASE_EMERGENCY ;报错了！phoenix通过创建视图对hbase中的表进行操作时，将hbase中的表删除，但保留phoenix的视图，然后重新创建hbase表并导入数据，然后使用phoenix执行sql：select count(1) from “XXXX”;时报错：java.lang.Illega...

异常信息：org.apache.oozie.action.ActionExecutorException: AUTH_FAILED: Not able to perform operation [ssh -o PasswordAuthentication=no -o KbdInteractiveDevices=no -o StrictHostKeyChecking=no -o ConnectT...

需求描述：       需要从myslq导入数据到大数据平台hbase，但是由于有100多张表，如果一个表一个表导入的话，工作量大。如果写代码的话，需要的时间也比较多。是否可以直接通过sql语句批量生成sqoop语句呢？？        此外，除了数据接入过来之外，还需要做的就是查询，通过phoenix查询，需要创建视图，怎么通过mysql sql语句自动生成创建视图的语句呢？ 需...

需求描述：需要测试cdh集群的组件的性能和稳定性。压力测试工具选型：HiBenchHiBench测试工具说明：HiBench是一套基准测试套件，用于帮助我们评估不同的大数据框架性能指标（包括处理速度、吞吐等）的负载指标，可以评估Hadoop、Spark和流式负载等源码下载：wget https://github.com/intel-hadoop/HiBench/archive/Hi...

问题描述： centos自动启动keepalived？怎么就不会自动重启呢？都试了很多次啦呀。这么简单有些不给面子。实现方式：调用封装的脚本：vi /etc/rc.d/rc.localnohup sh /root/restartkeepalived.sh > /root/restart.out 2>&1 &封装一个脚本：vi /root/rest...

问题描述：配置CDH 配置Mysql高可用，并实现和cdh无缝对接。主从和keepalived配置步骤：网上很多，这里就不多赘述了! 配置常用命令：查询mysql连接使用的是那台服务器：show variables like "%hostname%";service keepalived restartservice mysqld restartservice mysq...

问题描述：异常信息：isNamespaceMappingEnabled异常 问题分析：而工具squirrel没有地方可以修改配置，导致客户端报错了。连接phoenix有胖客户端和瘦客户端方式，使用瘦客户端方式连接可以解决！无需客户端配置如下选项。由于配置phoenix事物时，需要配置phoenix.schema.isNamespaceMappingEnabled选项vi hba...

问题描述：在安装cdh元数据myslq高可用时，使用的是myslq主主复制+keepalived实现。期间发现切换时，出现如下异常信息！花了很长时间寻找问题的原因。因为切换的时候，使用本机命令行是可以连接的，但是夸服务器就无法连接，没有去这方面的尝试，后来使用navicate无法连接后，就推测是mysql高可用切换的问题导致的。问题分析：如果不重启keepalived，是无法实现切换和连接...

Phoenix安装部署和事物支持配置遇到的问题：本人在cdh5.12集群上部署phoenix，并让其支持事物的经验总结！！过程遇到几个比较关键的问题，希望对你们有所帮助1）准备安装包： 编译完成的包:phoenix-4.9.0-cdh5.9.1.tar.gz2）部署：解压：tar -zxvf phoenix-4.9.0-cdh5.9.1.tar.gz把解压出的文件放到hbase的lib包目录下：并...

问题描述：VWMare如何让自己的redhat虚拟机连接外网，同时自己的pc电话可以访问自己的集群虚拟机！vmware版本号：11.0linux系统：redhat 6.5由于图形界面比较直观，打开图形界面：执行命令：init 5cdh集群主机名和ip地址：hostscdh1  172.31.0.135cdh2 172.31.0.136cdh3 172.31.0.137init命令说明：    1：...

错误信息：E:\myworkspace_java\bos-parent\bos-web\target\m2e-wtp\web-resources\META-INF\MANIFEST.MF (系统找不到指定的路径。) pom.xml /bos-web line 1 Maven Configuration Problempom.xml文件第一行红叉叉报错！问题原因分析：maven更新或者clean p...

问题：hbase客户端访问hbase集群需要怎么申请开通防火墙？场景：夸服务器远程客户端访问hbase集群需要开通的防火墙和注意事项？答案：1）hbase集群的所有zookeeper服务器和端口，一般端口默认为21812）hbase集群的所有hmaster服务器和端口。3）hbase集群的所有regionserver服务器和端口注意事项：1)开通防火