自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Centos7单机安装Tableau2018

先将服务器防火墙80级8850端口打开 临时关闭SELinux/防火墙 setenforce 0 iptables -F 重点 重点 不能用root用户安装 不能用root用户安装 第一步先创建一个安装用户 登录root用户添加组 #添加组 groupadd tableau #添加...

2018-11-28 11:58:50

阅读数 525

评论数 0

原创 安装CDH5.7.1集群

Hadoop版本选择 目前Hadoop比较流行的主要有2个版本,Apache和Cloudera版本。 Apache Hadoop:维护人员比较多,更新频率比较快,但是稳定性比较差。 Cloudera Hadoop(CDH):CDH:Cloudera公司的发行版本,基于ApacheHadoop的二...

2016-11-03 17:35:18

阅读数 1181

评论数 0

原创 hadoop2.7.1HA集群部署

1.修改文件/etc/hostname里的值即可,修改成功后用hostname命令查看当前主机名是否设置成功。 [root@masternode centos]# cat /etc/hosts #127.0.0.1   localhost localhost.localdomain localho...

2016-09-22 15:23:44

阅读数 949

评论数 0

原创 求助 hue下载csv文件时报错 ERROR The query result cannot be downloaded,Invalid query handle:

hiveserver2 ERROR The query result cannot be downloaded.Traceback (most recent call last): File "/opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3....

2020-01-08 18:03:36

阅读数 21

评论数 0

原创 求助 tableau 在计划刷新时报错如下

com.tableausoftware.nativeapi.exceptions.DataSourceException:PQstatus:1,couldnotconnecttoserver:Connectionrefused Istheserverrunningonhost"local...

2019-12-31 18:32:52

阅读数 13

评论数 0

原创 ipa: ERROR: No valid Negotiate header in server response(求助)操作系统centos7.6ipa版本4.6.5

版本 ipa --version VERSION: 4.6.5, API_VERSION: 2.231 执行如下命令报错 ipa -v user-find --all ipa: INFO: trying https://bigdata3.upwanfeng.com/ipa/json ip...

2019-12-19 17:30:55

阅读数 22

评论数 2

原创 安装ipa-client报错

ipa-client-install --uninstall IPA client is configured as a part of IPA server on this system. Refer to ipa-server-install for uninstallation. The i...

2019-12-09 18:17:30

阅读数 18

评论数 0

原创 ipaserver.install.bindinstance: ERROR    DNS server 127.0.0.1: query '. SOA': The DNS operation time

安装ipa-server-install --setup-dns--setup-dns报错 ipaserver.install.bindinstance:ERRORDNSserver127.0.0.1:query'.SOA':TheDNSoperationtimedoutaf...

2019-12-09 18:15:07

阅读数 30

评论数 0

原创 superset 普通用户开启白名单后报错如下

Traceback (most recent call last): File "/usr/hdp/3.1.0.0-78/superset/lib/python3.4/site-packages/flask_appbuilder/security/manager.py", ...

2019-11-22 18:30:47

阅读数 17

评论数 0

原创 更hdfs副本数测试

hdfsdfs-du-h/warehouse/hxy.db/ 23.3G69.8G /warehouse/hxy.db/store__order_detail_tmp第一次插入数据 23.3G46.5G warehouse/hxy.db/store__order_detail_tmp更改副本后的数...

2019-11-21 17:11:49

阅读数 3

评论数 0

原创 hdp界面全部失去心跳Components  Heartbeat Lost

hdp界面全部失去心跳Components Heartbeat Lost 原因是修改了/etc/hosts 安装完毕后修改了hosts里面的添加第2列 10.56.10.123 bigdata1.up.com bigdata1 10.56.10.140 bigdata2.up.com bigd...

2019-11-20 12:08:56

阅读数 10

评论数 0

原创 Timeline Service V2.0 Reader 启动不了

解决方法是:将yarn配置文件中的is_hbase_system_service_launch和use_external_hbase勾选 最终成功启动

2019-11-20 12:07:51

阅读数 32

评论数 0

原创 hdp开启kerberos报错如下Failed to execute the command: Cannot run program "ipa": error=2, No such file or d

ERROR [ambari-client-thread-753] CreateHandler:74 - Caught a system exception while attempting to create a resource: An internal system exception occ...

2019-11-20 12:06:33

阅读数 17

评论数 0

原创 缺少A记录 STDERR: ipa: ERROR: Host 'bigdata2.up.com' does not have corresponding DNS A/AAAA recor

解决办法手动添加A记录 ipa dnsrecord-add Record name: bigdata2 Zone name: uptest.com Please choose a type of DNS resource record to be added The most commo...

2019-11-20 12:03:38

阅读数 13

评论数 0

原创 ipa 常用命令简单介绍

ipactl restart # 重启 ipa --version # 查看版本 ipa user-add # 添加用户(以下命令先不操作,待主从配置好后,再操作) ipa user-add etl --first=etl --last=etl --shell=/bin/bash --homdir...

2019-11-08 15:51:11

阅读数 70

评论数 0

原创 freeipa4.2 HA模式安装的kerberos新添加的票据为何每次使用都需要初始化密码,求解决方法

kinithadoopadmin Passwordforhadoopadmin@UP.COM: Passwordexpired.Youmustchangeitnow. Enternewpassword: Enteritagain: kinit:Passwordhasexpiredwhilegett...

2019-11-08 15:46:26

阅读数 5

评论数 0

原创 hdp界面全部失去心跳Components Heartbeat Lost

原因是修改了/etc/hosts 安装完毕后修改了hosts里面的添加第2列 10.5.50.123 bigdata1.up.com bigdata1 10.5.50.140 bigdata2.up.com bigdata2 10.5.50.163 bigdata3.up.com bigda...

2019-11-08 15:43:45

阅读数 26

评论数 0

原创 airflow ImportError: No module named hive_metastore

python Python 2.7.5 (default, Oct 30 2018, 23:45:53) [GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux2 Type "help", "copyright", ...

2019-10-15 11:32:51

阅读数 31

评论数 0

原创 安装elasticsearch7+kibana7+watch

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.4.0-linux-x86_64.tar.gz.sha512 wget https://artifacts.elastic.co/downloads/elasticsearch...

2019-10-11 16:32:49

阅读数 339

评论数 0

原创 Spark Streaming调优

操作场景 SparkStreaming作为一种mini-batch方式的流式处理框架,它主要的特点是:秒级时延和高吞吐量。因此SparkStreaming调优的目标:在秒级延迟的情景下,提高SparkStreaming的吞吐能力,在单位时间处理尽可能多的数据。 说明: 本章节适用于输入数据源...

2019-10-10 15:20:12

阅读数 22

评论数 0

转载 大数据运维的工作职责

一.集群管理 大数据需要分布式系统,也就是集群:Hadoop,Hbase,Spark,Kafka,Redis等大数据生态圈组建。 二.故障处理 1>.商用硬件使用故障是常态。 2>.区分故障等级,优先处理影响实时性业务的故障。 三.变更管理 1>.以可控的方式...

2019-10-09 15:56:40

阅读数 16

评论数 0

原创 ES 安装sentinl 告警配置

下载软件 wget https://github.com/sirensolutions/sentinl/releases/download/tag-6.6.0-0/sentinl-v6.6.0.zip [root@host- kibana-6.6.0-linux-x86_64]# ./bin/ki...

2019-09-09 18:02:20

阅读数 115

评论数 0

原创 elastaltert 配置企业邮箱告警

配置企业邮箱告警 wget https://github.com/Hello-Linux/elastalert_wechat_plugin/archive/v1.0.1.zip unzip v1.0.1.zip mv elastalert_wechat_plugin-1.0.1/ elastale...

2019-09-09 16:40:48

阅读数 693

评论数 0

原创 安装phpLDAPadmin

① 安装和配置httpd yum -y install httpd rm -f /etc/httpd/conf.d/welcome.conf vim /etc/httpd/conf/httpd.conf //修改下面几行内容 ServerName www.example.com:8...

2019-08-27 17:22:30

阅读数 121

评论数 0

原创 安装ldap

① 安装部署服务端和相应程序包 yum -y install openldap compat-openldap openldap-clients openldap-servers openldap-servers-sql openldap-devel migrationtools ② 关闭防火...

2019-08-27 17:20:39

阅读数 75

评论数 0

原创 storm2.0分布式安装部署

1.下载软件 wget http://us.mirrors.quenda.co/apache/storm/apache-storm-2.0.0/apache-storm-2.0.0.tar.gz 2.解压软件 cd /opt tar -zxf apache-storm-2.0.0.tar....

2019-08-19 16:36:22

阅读数 107

评论数 0

原创 return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Replacing columns cSerDe may be incompati

删除表字段会报数据不一致,报错如下 INFO : Executing command(queryId=hive_20190806170220_4bd826b5-21cc-4a31-9fe4-3fa14ada0ede): ALTER TABLE flume.biprod replace column...

2019-08-06 17:57:51

阅读数 247

评论数 0

原创 FreeIPA

FreeIPA客户端: 安装:yum install ipa-client -y 客户端注册:ipa-client-install -p admin -w 'xxxxxxxx' --mkhomedir -U 卸载freeipa客户端:ipa-client-install ...

2019-07-22 14:59:53

阅读数 283

评论数 0

原创 kvm调整配置cpu、内存

一、调小内存:(ps:调小内存可以动态实现,不用关机) 1、产看当前配置: # virsh dominfovm |grepmemory Max memory: 8388608 KiB Used memory: 4194304 KiB 2、设置虚拟机内存: 512M #vir...

2019-07-22 14:58:53

阅读数 661

评论数 0

原创 cdh 5.13下载列表

http://archive.cloudera.com/cdh5/cdh/5/avro-1.7.6-cdh5.13.0.tar.gz http://archive.cloudera.com/cdh5/cdh/5/bigtop-jsvc-1.0.10-cdh5.13.0.tar.gz http:...

2019-07-22 14:54:43

阅读数 220

评论数 0

原创 elastalert 安装

https://elastalert.readthedocs.io/en/latest/ruletypes.html#alerts 下载并安装pip wgethttps://pypi.python.org/packages/11/b6/abcb525026a4be042b486df43905d6...

2019-07-05 15:07:01

阅读数 242

评论数 0

原创 airflow worker监控脚本

#!/bin/bash count=`ps aux| egrep 'serve_logs|celeryd'|grep -v "grep" | wc -l` echo ${count} if [ ${count} -eq 0 ] then rm ...

2019-06-19 11:17:34

阅读数 214

评论数 0

转载 转载salt 基本命令

一、salt常用命令 salt 该命令执行salt的执行模块,通常在master端运行,也是我们最常用到的命令 salt [options] '<target>' <function> [arguments] ...

2019-06-05 14:25:35

阅读数 84

评论数 6

原创 salt如何解决不能推送nohup执行启动命令问题

最近由于需要研究下如何用salt推送filebeat安装和远程启动脚本,开始研究salt有些头大,但是经过两天的被虐大致了解如何编写简单的推送脚本也是一种收获。 下面红色的部分(nohup入restart.sh脚本里的内容)不能正常执行,经查找资料是因为公司的salt版本过低导致的,没办法就只能...

2019-06-05 14:20:34

阅读数 146

评论数 0

原创 kafka消费不到消息原因

今天安装chd6.1安装完里面把组件kafka集成到集群里,集群内仅配置一个broker,但是kafka里的offsets.topic.replication.factor=3 由于一台机器--replication-factor 超过1会报错,在创建topic时我只能赋值 --replicat...

2019-05-16 18:36:22

阅读数 2925

评论数 0

原创 spark-shell 启动报错org.apache.hadoop.security.AccessControlException: Permission denied: user=root, acc

[root@cm3 ~]# spark-shell Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLog...

2019-05-16 17:21:39

阅读数 410

评论数 0

原创 java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and PySpark

[root@cm3 ~]# spark-shell Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLog...

2019-05-16 17:18:31

阅读数 467

评论数 0

转载 Cloudera Enterprise 6.2.0

Cloudera Enterprise 6.2.0同时也包括很多组件版本的更新,如下: 组件 组件描述 版本 Hadoop 可靠的,可扩展的,分布式的存储和计算平台 v3.0....

2019-05-15 18:37:21

阅读数 67

评论数 0

原创 求助:cdh6.2安装到选择存储库后点击继续无反应怎么破

2019-05-15 14:26:34,600 INFO WebServerImpl:org.springframework.aop.framework.CglibAopProxy: Method [int com.cloudera.server.web.cmf.ParcelController....

2019-05-15 14:40:50

阅读数 717

评论数 7

原创 phoenix 与现有的HBase表关联

首先创建一张HBase表,再创建的Phoenix表,表名必须和HBase表名一致即可。 create 'stu' ,'cf1','cf2' put 'stu', 'key1','cf1...

2019-05-09 17:11:59

阅读数 293

评论数 0

提示
确定要删除当前文章?
取消 删除