- 博客(292)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 Centos7单机安装Tableau2018
先将服务器防火墙80级8850端口打开临时关闭SELinux/防火墙setenforce 0iptables -F重点 重点 不能用root用户安装 不能用root用户安装 第一步先创建一个安装用户登录root用户添加组#添加组groupadd tableau#添加安装用户useradd admin -g tableau#设置用户密码并激活passwd ...
2018-11-28 11:58:50
1355
原创 安装CDH5.7.1集群
Hadoop版本选择目前Hadoop比较流行的主要有2个版本，Apache和Cloudera版本。Apache Hadoop：维护人员比较多，更新频率比较快，但是稳定性比较差。Cloudera Hadoop（CDH）：CDH：Cloudera公司的发行版本，基于ApacheHadoop的二次开发，优化了组件兼容和交互接口、简化安装配置、增加Cloudera兼容特性。 准备工作以...
2016-11-03 17:35:18
1413
原创 hadoop2.7.1HA集群部署
1.修改文件/etc/hostname里的值即可，修改成功后用hostname命令查看当前主机名是否设置成功。[root@masternode centos]# cat /etc/hosts#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4#::1 localho
2016-09-22 15:23:44
1273
原创 kafka开启kerberos
配置zookeeper的kerberos验证，切换到配置文件目录下cd conf，添加zoo.cfg配置文件，cp zoo_sample.cfg zoo.cfg打开zoo.cfg配置文件，添加配置，修改Zookeeper的配置文件cat zoo.cfg 启用SASL认证，并指定认证提供者。在Zookeeper的启动脚本中添加JVM参数，指定JAAS配置文件的路径。在Kafka的启动脚本中添加JVM参数，指定JAAS配置文件的路径。注意修改principal和keyTab路径以匹配实际环境。
2024-08-16 16:27:13
1217
原创 hive抽取mysql里的表，如果mysql表没有时间字段如何做增量抽取数据
2.根据数据创建时间进行增量抽取：如果MySQL表中存在记录创建时间的字段（如create_time），你可以记录上一次抽取数据时最大的创建时间（即上一次抽取数据的结束时间），然后从该时间点开始继续抽取新数据。需要注意的是，以上两种增量抽取方式都需要有一个依据来记录上一次抽取数据的位置或时间，以便于在下一次抽取数据时只获取新增的数据而不会重复获取已经抽取过的数据。-- 假设id为自增主键。
2023-10-10 10:55:10
644
原创 什么是大数据运维？大数据运维的职责
大数据运维是指管理、监控和维护大规模数据存储和处理平台的过程。它包含了对数据存储、处理、传输等方面的管理和维护，同时负责确保数据的安全性、可靠性和高效性。以上是大数据运维的主要职责。一个高效的大数据运维团队可以实现整个大数据系统的高可用、安全、稳定地运行，确保业务的持续性和可靠性。
2023-10-09 15:22:54
2502
原创 如何监控ping 某个主机不同发送钉钉报警
#! /bin/bash. /home/dd.shcount=`ping -c 7 -W 3 192.168.9.10|grep "time="|egrep -v "DUP" |wc -l`echo ${count}function output_notify {text=$1result=$(send_notify $text)echo "$(date) : $result" >> /home/ip.log}if [ $count -lt 3 ]then
2022-03-28 17:28:17
576
原创 安装walle2.0
1.下载安装包git clone https://github.com/meolu/walle-web.git2.安装依赖yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel3.安装python3wget https:/...
2021-09-27 11:59:59
627
原创 Hue中添加hive自定义函数
hue目前因为开启sentry 后不能add jar语句，目前只能用永久函数解决该问题。具体方法如下：首先把文件上传hdfshdfs dfs -put授权beeline> !connect jdbc:hive2://10.5.xx.xx:2500GRANT ALL ON URI 'hdfs://xxx:8020/tmp.db/function/Dmo.jar' TO ROLE read;创建函数create function tmp.Dmo as 'com.Dmo' usi...
2020-08-25 16:46:14
753
原创 求助 hue下载csv文件时报错 ERROR The query result cannot be downloaded，Invalid query handle:
hiveserver2 ERROR The query result cannot be downloaded.Traceback (most recent call last):File "/opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/lib/hue/desktop/libs/notebook/src/notebook/con...
2020-01-08 18:03:36
1401
1
原创 求助 tableau 在计划刷新时报错如下
com.tableausoftware.nativeapi.exceptions.DataSourceException:PQstatus:1,couldnotconnecttoserver:ConnectionrefusedIstheserverrunningonhost"localhost"(127.0.0.1)andacceptin...
2019-12-31 18:32:52
1183
3
原创 ipa: ERROR: No valid Negotiate header in server response（求助）操作系统centos7.6ipa版本4.6.5
版本ipa --versionVERSION: 4.6.5, API_VERSION: 2.231执行如下命令报错ipa -v user-find --allipa: INFO: trying https://bigdata3.upwanfeng.com/ipa/jsonipa: INFO: [try 1]: Forwarding 'schema' to json serve...
2019-12-19 17:30:55
978
2
原创 安装ipa-client报错
ipa-client-install --uninstallIPA client is configured as a part of IPA server on this system.Refer to ipa-server-install for uninstallation.The ipa-client-install command failed.先卸载如下语句ipa-ser...
2019-12-09 18:17:30
1477
原创 ipaserver.install.bindinstance: ERROR DNS server 127.0.0.1: query '. SOA': The DNS operation time
安装ipa-server-install --setup-dns--setup-dns报错ipaserver.install.bindinstance:ERRORDNSserver127.0.0.1:query'.SOA':TheDNSoperationtimedoutafter10.0006110668secondsipapython.admintool...
2019-12-09 18:15:07
1494
原创 superset 普通用户开启白名单后报错如下
Traceback (most recent call last): File "/usr/hdp/3.1.0.0-78/superset/lib/python3.4/site-packages/flask_appbuilder/security/manager.py", line 635, in auth_user_ldap if not self._bind_ldap(ld...
2019-11-22 18:30:47
463
原创 更hdfs副本数测试
hdfsdfs-du-h/warehouse/hxy.db/23.3G69.8G /warehouse/hxy.db/store__order_detail_tmp第一次插入数据23.3G46.5G warehouse/hxy.db/store__order_detail_tmp更改副本后的数据hdfsdfs-du-h /warehouse/hxy...
2019-11-21 17:11:49
215
原创 hdp界面全部失去心跳Components Heartbeat Lost
hdp界面全部失去心跳Components Heartbeat Lost原因是修改了/etc/hosts 安装完毕后修改了hosts里面的添加第2列10.56.10.123 bigdata1.up.com bigdata110.56.10.140 bigdata2.up.com bigdata210.56.10.163 bigdata3.up.com bigdata3...
2019-11-20 12:08:56
451
原创 Timeline Service V2.0 Reader 启动不了
解决方法是：将yarn配置文件中的is_hbase_system_service_launch和use_external_hbase勾选最终成功启动
2019-11-20 12:07:51
2303
原创 hdp开启kerberos报错如下Failed to execute the command: Cannot run program "ipa": error=2, No such file or d
ERROR [ambari-client-thread-753] CreateHandler:74 - Caught a system exception while attempting to create a resource: An internal system exception occurred: Failed to execute the command: Cannot run pr...
2019-11-20 12:06:33
696
原创 缺少A记录 STDERR: ipa: ERROR: Host 'bigdata2.up.com' does not have corresponding DNS A/AAAA recor
解决办法手动添加A记录ipa dnsrecord-addRecord name: bigdata2Zone name: uptest.comPlease choose a type of DNS resource record to be addedThe most common types for this type of zone are: A, AAAADNS ...
2019-11-20 12:03:38
731
原创 ipa 常用命令简单介绍
ipactl restart # 重启ipa --version # 查看版本ipa user-add # 添加用户（以下命令先不操作，待主从配置好后，再操作)ipa user-add etl --first=etl --last=etl --shell=/bin/bash --homdir=/home/etl # etl 组用户，用于“数据抽取”ipa user-add test --f...
2019-11-08 15:51:11
3551
原创 freeipa4.2 HA模式安装的kerberos新添加的票据为何每次使用都需要初始化密码，求解决方法
kinithadoopadminPasswordforhadoopadmin@UP.COM:Passwordexpired.Youmustchangeitnow.Enternewpassword:Enteritagain:kinit:Passwordhasexpiredwhilegettinginitialcredentials每次都是这...
2019-11-08 15:46:26
877
原创 hdp界面全部失去心跳Components Heartbeat Lost
原因是修改了/etc/hosts 安装完毕后修改了hosts里面的添加第2列10.5.50.123 bigdata1.up.com bigdata110.5.50.140 bigdata2.up.com bigdata210.5.50.163 bigdata3.up.com bigdata3解决办法1. 进 ambari 控制台，关闭 ambari 管理...
2019-11-08 15:43:45
572
原创 airflow ImportError: No module named hive_metastore
pythonPython 2.7.5 (default, Oct 30 2018, 23:45:53)[GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux2Type "help", "copyright", "credits" or "license" for more information.>>> import airfl...
2019-10-15 11:32:51
929
原创 安装elasticsearch7+kibana7+watch
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.4.0-linux-x86_64.tar.gz.sha512wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.0-linux-x86_64.tar.gzwget ht...
2019-10-11 16:32:49
2138
原创 Spark Streaming调优
操作场景SparkStreaming作为一种mini-batch方式的流式处理框架，它主要的特点是：秒级时延和高吞吐量。因此SparkStreaming调优的目标：在秒级延迟的情景下，提高SparkStreaming的吞吐能力，在单位时间处理尽可能多的数据。说明：本章节适用于输入数据源为Kafka的使用场景。操作步骤一个简单的流处理系统由以下三部分组件组成：数据源 + ...
2019-10-10 15:20:12
376
转载 大数据运维的工作职责
一.集群管理 大数据需要分布式系统，也就是集群：Hadoop，Hbase，Spark，Kafka，Redis等大数据生态圈组建。二.故障处理 1>.商用硬件使用故障是常态。 2>.区分故障等级，优先处理影响实时性业务的故障。三.变更管理 1>.以可控的方式，高效的完成变更工作； 2>.包括配置管理和发布管理；四.容量管理...
2019-10-09 15:56:40
4959
2
原创 ES 安装sentinl 告警配置
下载软件wget https://github.com/sirensolutions/sentinl/releases/download/tag-6.6.0-0/sentinl-v6.6.0.zip[root@host- kibana-6.6.0-linux-x86_64]# ./bin/kibana-plugin install file:///opt/kibana-6.6.0-linux...
2019-09-09 18:02:20
750
原创 elastaltert 配置企业邮箱告警
配置企业邮箱告警wget https://github.com/Hello-Linux/elastalert_wechat_plugin/archive/v1.0.1.zipunzip v1.0.1.zipmv elastalert_wechat_plugin-1.0.1/ elastalert_wechat_plugincp -r elastalert_wechat_plugin/*...
2019-09-09 16:40:48
1253
原创 安装phpLDAPadmin
① 安装和配置httpdyum -y install httpdrm -f /etc/httpd/conf.d/welcome.confvim /etc/httpd/conf/httpd.conf //修改下面几行内容ServerName www.example.com:80 //第96行Allow...
2019-08-27 17:22:30
1248
原创 安装ldap
① 安装部署服务端和相应程序包yum -y install openldap compat-openldap openldap-clients openldap-servers openldap-servers-sql openldap-devel migrationtools② 关闭防火墙sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' ...
2019-08-27 17:20:39
338
原创 storm2.0分布式安装部署
1.下载软件wget http://us.mirrors.quenda.co/apache/storm/apache-storm-2.0.0/apache-storm-2.0.0.tar.gz2.解压软件cd /opttar -zxf apache-storm-2.0.0.tar.gz3.配置配置文件cat /opt/apache-storm-2.0.0/conf/sto...
2019-08-19 16:36:22
957
原创 return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Replacing columns cSerDe may be incompati
删除表字段会报数据不一致，报错如下INFO : Executing command(queryId=hive_20190806170220_4bd826b5-21cc-4a31-9fe4-3fa14ada0ede): ALTER TABLE flume.biprod replace columns ( title string comment '影片名称',show_nums int comm...
2019-08-06 17:57:51
6685
原创 FreeIPA
FreeIPA客户端：安装：yum install ipa-client -y客户端注册：ipa-client-install -p admin -w 'xxxxxxxx' --mkhomedir -U卸载freeipa客户端：ipa-client-install --uninstall重新注册客户端：ipa-client-install --force-joinFreeIP...
2019-07-22 14:59:53
2492
原创 kvm调整配置cpu、内存
一、调小内存：（ps：调小内存可以动态实现，不用关机）1、产看当前配置： # virsh dominfovm |grepmemory Max memory: 8388608 KiBUsed memory: 4194304 KiB2、设置虚拟机内存： 512M #virsh setmem vm 524288二、调大内存、增加cpu...
2019-07-22 14:58:53
4531
原创 cdh 5.13下载列表
http://archive.cloudera.com/cdh5/cdh/5/avro-1.7.6-cdh5.13.0.tar.gzhttp://archive.cloudera.com/cdh5/cdh/5/bigtop-jsvc-1.0.10-cdh5.13.0.tar.gzhttp://archive.cloudera.com/cdh5/cdh/5/bigtop-tomcat-6.0...
2019-07-22 14:54:43
1688
原创 elastalert 安装
https://elastalert.readthedocs.io/en/latest/ruletypes.html#alerts下载并安装pipwgethttps://pypi.python.org/packages/11/b6/abcb525026a4be042b486df43905d6893fb04f05aac21c32c638e939e447/pip-9.0.1.tar.gzt...
2019-07-05 15:07:01
1455
1
原创 airflow worker监控脚本
#!/bin/bash count=`ps aux| egrep 'serve_logs|celeryd'|grep -v "grep" | wc -l` echo ${count} if [ ${count} -eq 0 ] then rm -rf /home/airflow/airflow-worker.pid su airflow -c ...
2019-06-19 11:17:34
1106
转载 转载salt 基本命令
一、salt常用命令 salt 该命令执行salt的执行模块，通常在master端运行，也是我们最常用到的命令 salt [options] '<target>' <function> [arguments] 如: salt '*' test.ping salt-run 该命令执行runner(salt带的...
2019-06-05 14:25:35
1412
6
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人