实验
文章平均质量分 57
蘑菇丁
每份经历,不管是顺境还是坎坷,都会增加生命的厚度。
世界很小,请带着梦想一起奔跑。
世界很大,请带着坚持努力成长!
勇于挑战,不断突破自我!加油!!!
建了一个大数据运维群,各位大数据运维的同学可以一起讨论 群号584912368
https://github.com/liangjingbin99/shouhuo/tree/master/%E7%AC%AC02%E7%AB%A0
展开
-
求助 hue下载csv文件时报错 ERROR The query result cannot be downloaded,Invalid query handle:
hiveserver2 ERROR The query result cannot be downloaded.Traceback (most recent call last):File "/opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/lib/hue/desktop/libs/notebook/src/notebook/con...原创 2020-01-08 18:03:36 · 1392 阅读 · 1 评论 -
求助 tableau 在计划刷新时报错如下
com.tableausoftware.nativeapi.exceptions.DataSourceException:PQstatus:1,couldnotconnecttoserver:ConnectionrefusedIstheserverrunningonhost"localhost"(127.0.0.1)andacceptin...原创 2019-12-31 18:32:52 · 1175 阅读 · 3 评论 -
ipa: ERROR: No valid Negotiate header in server response(求助)操作系统centos7.6ipa版本4.6.5
版本ipa --versionVERSION: 4.6.5, API_VERSION: 2.231执行如下命令报错ipa -v user-find --allipa: INFO: trying https://bigdata3.upwanfeng.com/ipa/jsonipa: INFO: [try 1]: Forwarding 'schema' to json serve...原创 2019-12-19 17:30:55 · 957 阅读 · 2 评论 -
安装ipa-client报错
ipa-client-install --uninstallIPA client is configured as a part of IPA server on this system.Refer to ipa-server-install for uninstallation.The ipa-client-install command failed.先卸载如下语句ipa-ser...原创 2019-12-09 18:17:30 · 1454 阅读 · 0 评论 -
ipaserver.install.bindinstance: ERROR DNS server 127.0.0.1: query '. SOA': The DNS operation time
安装ipa-server-install --setup-dns--setup-dns报错ipaserver.install.bindinstance:ERRORDNSserver127.0.0.1:query'.SOA':TheDNSoperationtimedoutafter10.0006110668secondsipapython.admintool...原创 2019-12-09 18:15:07 · 1474 阅读 · 0 评论 -
superset 普通用户开启白名单后报错如下
Traceback (most recent call last): File "/usr/hdp/3.1.0.0-78/superset/lib/python3.4/site-packages/flask_appbuilder/security/manager.py", line 635, in auth_user_ldap if not self._bind_ldap(ld...原创 2019-11-22 18:30:47 · 449 阅读 · 0 评论 -
更hdfs副本数测试
hdfsdfs-du-h/warehouse/hxy.db/23.3G69.8G /warehouse/hxy.db/store__order_detail_tmp第一次插入数据23.3G46.5G warehouse/hxy.db/store__order_detail_tmp更改副本后的数据hdfsdfs-du-h /warehouse/hxy...原创 2019-11-21 17:11:49 · 202 阅读 · 0 评论 -
hdp界面全部失去心跳Components Heartbeat Lost
hdp界面全部失去心跳Components Heartbeat Lost原因是修改了/etc/hosts 安装完毕后修改了hosts里面的添加第2列10.56.10.123 bigdata1.up.com bigdata110.56.10.140 bigdata2.up.com bigdata210.56.10.163 bigdata3.up.com bigdata3...原创 2019-11-20 12:08:56 · 434 阅读 · 0 评论 -
Timeline Service V2.0 Reader 启动不了
解决方法是:将yarn配置文件中的is_hbase_system_service_launch和use_external_hbase勾选最终成功启动原创 2019-11-20 12:07:51 · 2275 阅读 · 0 评论 -
hdp开启kerberos报错如下Failed to execute the command: Cannot run program "ipa": error=2, No such file or d
ERROR [ambari-client-thread-753] CreateHandler:74 - Caught a system exception while attempting to create a resource: An internal system exception occurred: Failed to execute the command: Cannot run pr...原创 2019-11-20 12:06:33 · 687 阅读 · 0 评论 -
ipa 常用命令简单介绍
ipactl restart # 重启ipa --version # 查看版本ipa user-add # 添加用户(以下命令先不操作,待主从配置好后,再操作)ipa user-add etl --first=etl --last=etl --shell=/bin/bash --homdir=/home/etl # etl 组用户,用于“数据抽取”ipa user-add test --f...原创 2019-11-08 15:51:11 · 3511 阅读 · 0 评论 -
freeipa4.2 HA模式安装的kerberos新添加的票据为何每次使用都需要初始化密码,求解决方法
kinithadoopadminPasswordforhadoopadmin@UP.COM:Passwordexpired.Youmustchangeitnow.Enternewpassword:Enteritagain:kinit:Passwordhasexpiredwhilegettinginitialcredentials每次都是这...原创 2019-11-08 15:46:26 · 868 阅读 · 0 评论 -
hdp界面全部失去心跳Components Heartbeat Lost
原因是修改了/etc/hosts 安装完毕后修改了hosts里面的添加第2列10.5.50.123 bigdata1.up.com bigdata110.5.50.140 bigdata2.up.com bigdata210.5.50.163 bigdata3.up.com bigdata3解决办法1. 进 ambari 控制台,关闭 ambari 管理...原创 2019-11-08 15:43:45 · 551 阅读 · 0 评论 -
java.io.IOException: Another Balancer is running.. Exiting .
平衡数据报错java.io.IOException: Another Balancer is running.. Exiting ...由于在页面点击取消,但是实际进程还在后台运行,解决方法如下:ps -ef |grep hdfs.sh 之后kill掉即可...原创 2018-12-21 15:38:00 · 1307 阅读 · 0 评论 -
如何为Impala Daemon配置Executor和Coordinator
登录Cloudera Manager界面进入Impala服务,点击“配置”进入角色组界面,新建Coordinator角色组,将一部分Impala Daemon节点划分为Coordinator Group角色组4.进入Impala的配置页面,为我们划分的两个组配置高级参数在Impala配置中搜索“Impala Daemon 命令行参数高级配置代码段(安全阀)”,为...原创 2019-01-18 10:57:49 · 1974 阅读 · 0 评论 -
cdh实现 impala deamon 和hiveserver2 ha 并在hue内集成他们jdbcha
安装haproxy实现haInstall the load balancer: root@bigdata-150021:~# yum -y install haproxyroot@bigdata-150021:~# cp /etc/haproxy/haproxy.cfg /etc/haproxy/haproxy.cfg.bak配置haproxycat /etc/haproxy/h...原创 2019-01-09 14:50:48 · 1856 阅读 · 1 评论 -
java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and PySpark
[root@cm3 ~]# spark-shellSetting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).19/05/16 16:43:27 ERROR spark.SparkContext:...原创 2019-05-16 17:18:31 · 3548 阅读 · 0 评论 -
spark-shell 启动报错org.apache.hadoop.security.AccessControlException: Permission denied: user=root, acc
[root@cm3 ~]# spark-shellSetting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).19/05/16 17:08:23 ERROR spark.SparkContext:...原创 2019-05-16 17:21:39 · 2145 阅读 · 0 评论 -
kafka消费不到消息原因
今天安装chd6.1安装完里面把组件kafka集成到集群里,集群内仅配置一个broker,但是kafka里的offsets.topic.replication.factor=3由于一台机器--replication-factor 超过1会报错,在创建topic时我只能赋值 --replication-factor=1如下kafka-topics --zookeeper...原创 2019-05-16 18:36:22 · 27911 阅读 · 1 评论 -
elastalert 安装
https://elastalert.readthedocs.io/en/latest/ruletypes.html#alerts下载并安装pipwgethttps://pypi.python.org/packages/11/b6/abcb525026a4be042b486df43905d6893fb04f05aac21c32c638e939e447/pip-9.0.1.tar.gzt...原创 2019-07-05 15:07:01 · 1445 阅读 · 1 评论 -
storm2.0分布式安装部署
1.下载软件wget http://us.mirrors.quenda.co/apache/storm/apache-storm-2.0.0/apache-storm-2.0.0.tar.gz2.解压软件cd /opttar -zxf apache-storm-2.0.0.tar.gz3.配置配置文件cat /opt/apache-storm-2.0.0/conf/sto...原创 2019-08-19 16:36:22 · 942 阅读 · 0 评论 -
elastaltert 配置企业邮箱告警
配置企业邮箱告警wget https://github.com/Hello-Linux/elastalert_wechat_plugin/archive/v1.0.1.zipunzip v1.0.1.zipmv elastalert_wechat_plugin-1.0.1/ elastalert_wechat_plugincp -r elastalert_wechat_plugin/*...原创 2019-09-09 16:40:48 · 1247 阅读 · 0 评论 -
ES 安装sentinl 告警配置
下载软件wget https://github.com/sirensolutions/sentinl/releases/download/tag-6.6.0-0/sentinl-v6.6.0.zip[root@host- kibana-6.6.0-linux-x86_64]# ./bin/kibana-plugin install file:///opt/kibana-6.6.0-linux...原创 2019-09-09 18:02:20 · 738 阅读 · 0 评论 -
安装elasticsearch7+kibana7+watch
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.4.0-linux-x86_64.tar.gz.sha512wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.0-linux-x86_64.tar.gzwget ht...原创 2019-10-11 16:32:49 · 2126 阅读 · 0 评论 -
Hadoop集群之Hbase安装配置
被虐了一周,终于整理出来hadoop 常用模块安装文档,为了其他人在安装过程中不被虐,把操作记录下来共其他人残扣,只有按照以下步骤一步一步走,保证都可以安装成功,hadoop 安装请参考之前编写的文档。http://blog.csdn.net/haoxiaoyan/article/details/525237491.解压软件tar zxvf hbase-1.1.5-bin.ta原创 2016-09-13 15:19:29 · 618 阅读 · 0 评论 -
Impala cannot read or execute the parent directory of dfs.domain.socket.path
valid short-circuit reads configuration: Impala cannot read or execute the parent directory of dfs.domain.socket.path 解决方法: 1、去HDFS中找到dfs.domain.socket.path配置 2、找到报错的主机,创建对应的目录即可(我的是/var/run/hdf...原创 2018-12-21 15:37:03 · 1060 阅读 · 0 评论 -
impala刷新元数据方法
1.hue使用Perform incremental metadata update,不要用Invalidate all metadata and rebuild index,如果是invalidate metadata什么都不加,宁愿重新启动catalogd。 2.如果涉及到表的schema改变,使用invalidate metadata [table] 3.如果只是涉及到表的数据改变,使用...原创 2018-12-21 15:34:28 · 11574 阅读 · 1 评论 -
Hadoop集群之Hive HA 安装配置
Hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程,它提供了对外的入口来获取用户的指令然后对指令进行分析,解析出一个 MapReduce程序组成可执行计划,并按照该计划生成对应的MapReduce任务提交给Hadoop集群处理,获取最终的结果。元数据——如表模式原创 2016-10-13 15:22:28 · 2634 阅读 · 0 评论 -
ambari 安装
1.ambari 官网地址:http://ambari.apache.org2.下载ambari[hadoop@slavenode7 hadoop]$ wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.repo100%[=========================原创 2016-10-14 10:52:12 · 4199 阅读 · 1 评论 -
hint--all_rows和fist_rows
在日常工作中经常被是该用all_rows还是fist_rows所迷惑,今天静下心来研究了一下,大致上明白了他们的区别。all_rows的功能是指示优化器在优化语句时,以消耗最少资源的最佳吞吐量为优化目标。fist_rows指示优化器在优化语句时,以最高效地返回前面指定数量的记录为目标。SQL> SET AUTOTRACE ONSQL> select /*+ all_rows */*原创 2014-03-13 11:38:00 · 1249 阅读 · 0 评论 -
oracle 字符集乱码本质验证
之前一直困惑为什么数据库字符集和客户端字符集是一致的但是当数据库插入到表里却成了乱码,今天在群里看见一位前辈讲解了这个问题,因此也就跟着做了一个实验验证下,结果发现了其中的奥秘:1) 如果恰巧数据库的字符集也是UTF8, 那么Oracle就不作任何转换直接插入到数据中.2) 如果数据库的字符集是ZHS16GBK, 那么Oracle会根据内部的MAP,按UTF8截取客户端发来的字符串, 转换原创 2014-03-26 13:41:44 · 1682 阅读 · 1 评论 -
exists改写成left join
select * from ((select t1.GOPAY_TXN_TM GOPAY_TXN_TM, t1.ORDER_STLM_TIME order_stlm_time, t1.MER_ORDER_ID mer_order_id,原创 2014-04-23 16:47:36 · 1790 阅读 · 0 评论 -
hodoop安装步骤
1.Hadoop 下载地址http://mirror.bit.edu.cn/apache/hadoop/common/建立hadoop运行帐号即为hadoop2.集群专门设置一个用户组及用户,这部分比较简单,参考示例如下:$ useradd hadoop$ groupadd -G hadoop hadoop在所有的机器上都建立相同的组(hadoop)和用户(hadoop)。原创 2016-09-13 10:43:54 · 2148 阅读 · 0 评论 -
Hadoop集群之zookeeper安装配置
1.hadoop安装如下文:http://blog.csdn.net/haoxiaoyan/article/details/525237492.下载地址:http://mirror.bjtu.edu.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz3.zookeepe 安装① 上传软件并解压把zoo原创 2016-09-13 10:48:14 · 1467 阅读 · 0 评论 -
如何清除归档日志
1.切换用户到oracle> su - oracle原创 2014-08-13 18:03:44 · 1743 阅读 · 0 评论 -
通过os系统进程号如何查出某个update语句的具体内容
[root@hxy ~]# ps -ef|grep oracleoracle 25895 25631 0 11:06 pts/2 00:00:00 sqlplus as sysdbasession1 会话执行SQL> update t1 set object_id=30 where object_id=20;1 row updated.通过v$loc原创 2014-03-28 13:34:07 · 596 阅读 · 0 评论 -
脚本实现FTP远程下载
以下脚本是自动实现远程ftp的脚本,供日后使用#!/bin/shftp -i -nopen 10.3.192.10 21user $source_user $source_passwd$ftp_modecd $src_pathlcd $dest_path_1mget `date +'%Y%m%d'`ES_HS.txtmget province.txt原创 2013-11-25 22:56:17 · 874 阅读 · 0 评论 -
如何查看自己生成的tracle文件
1、查看udump的目录$ sqlplus / as sysdbaNAME TYPE VALUE------------------------------------ ----------- ------------------------------license_max_users原创 2013-10-15 22:05:49 · 1280 阅读 · 0 评论 -
Sqoop-1.99.7安装部署
Sqoop安装部署官方文档:http://sqoop.apache.org/下载地址[hadoop@slavenode8 hadoop]$ wget http://apache.fayea.com/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz 设置环境变量[hadoop@slavenode8 sqoop-1.99.7]$ vi ~原创 2016-10-26 14:12:01 · 3783 阅读 · 1 评论 -
hadoop2.7.1HA集群部署
1.修改文件/etc/hostname里的值即可,修改成功后用hostname命令查看当前主机名是否设置成功。[root@masternode centos]# cat /etc/hosts#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4#::1 localho原创 2016-09-22 15:23:44 · 1260 阅读 · 0 评论