- 博客(209)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 [CDH] 记一次CDH5集成SPARK2时parcel激活报错“WARN:Parcel not distributed but have active state ACTIVATIN”的问题解决
背景：CM-5.13.1 + CDH-5.13.1 集成SPARK2.3.4（CDS-2.3.4）时parcels包激活hung住，集群中有一个节点一直是在激活中，不能完成激活，进退两难。去社区找了资料，最后是调用了Clouder官方的deactivate接口把激活状态回滚到激活之前：POST接口。之后再次重新点击激活，状态还是卡在这一步不能前进，于是去CM主机上面查看cl...
2019-04-04 10:18:54
4836
1
原创 [CDH5] CDH5集成SPARK2 parcel时激活失败回滚方法
背景：CM-5.13.1 + CDH-5.13.1 集成SPARK2.3.4（CDS-2.3.4）时parcels包激活hung住，进退两难。Cloudera并没有在CM控制台开发Cancel或者回滚的入口，此时服务状态就是hung住页面无法操作。通过查询接口文档，Cloudera提供了一个deactivate的POST接口可以来回滚active操作：curl -u...
2019-04-03 20:03:55
2994
1
原创 [CDH] CDH5.13.1集成 Apache Spark2.3.4（CDS 2.3.4）
背景：已有CDH5.13.1，集成CDS 2.3.4(Apache Spark 2.3.4）。1. 环境：操作系统：CentOS7.3 CM：CM-5.13.1 CDH：CDH5.13.1 JDK：1.8.0_151 Scala：Scala 2.11.122. 集成步骤：2.1 环境准备按照官方文档要求安装好所有的软件：CDH版本CDH 5.9 + CM...
2019-04-02 16:42:43
863
原创 [Linux] CentOS7新增磁盘并设置成LVM
背景：CentOS7，已有磁盘sda。需求：新增磁盘sdb和sdc，新建文件夹/data，并把新增的两个磁盘都设成逻辑卷，挂载到/data目录下。1. sdb分区$ sudo fdisk /dev/sdbn // 新增分区p // 首选分区t // 选择格式8e // Linux LVM格式w //保存重启服务器$ sudo...
2019-02-21 16:33:58
1974
1
原创 [MySQL] MySQL8.0创建用户后客户端远程连接报错ERROR 2059 (HY000): Authentication plugin 'caching_sha2_password' 解决
问题：MySQL8.0.14，创建普通用户账号后客户端远程连接报错：Navicat客户端远程连接报错：1251 - Client does not support authentication protocol requested by server; consider upgrading MySQL clientCentOS主机上MySQL客户端连接报错：ERROR 20...
2019-01-29 16:28:02
1934
原创 [MySQL] MySQL8.0主从同步报错2061问题解决
背景：CentOS7.3使用yum安装了MySQL8.0.14，根据官网教程创建了主从同步账号、设置主从同步后启动同步报错2061，错误日志[root@ldap1 modules]# mysql -uroot -pEnter password: Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL c...
2019-01-29 15:00:17
4866
2
原创 [HAProxy] CentOS7安装HAProxy1.8.17后启动报错“cannot bind UNIX socket [/var/lib/haproxy/stats]”解决
问题：CentOS7.3安装HAProxy1.8.17后启动报错，日志[root@ldap1 run]# systemctl start haproxyJob for haproxy.service failed because the control process exited with error code. See "systemctl status haproxy.[roo...
2019-01-22 16:48:03
6596
原创 [Cassandra] Cassandra3.x清理过期数据
Cassandra3.x官方文档：https://docs.datastax.com/en/cql/3.3/cql/cql_using/useExpire.htmlCassandra数据库支持TTL（Time To Live），来控制数据的生存时长（expire time）。 1.设定生存时长1.1 设定行数据生存时长建表时不指定过期时间，插入数据时为每条数据单独指定过期时间。...
2019-01-15 17:55:25
3447
原创 [LDAP] 升级PHP版本到PHP7.1之后PHPldapadmin报错解决
环境：CentOS7.3 + PHP-5.4.16 + PHPldapadmin1.2.3问题：升级PHP到PHP-7.1.25版本之后PHPldapadmin报错：“Unrecognized error number: 8192: Function mcrypt_module_open() is deprecated”。 解决：打开报错的文件，注释掉mcrypt_mod...
2019-01-10 10:00:14
3122
1
原创 [LDAP] CentOS7安装OpenLDAP后启动报错解决
问题CentOS7.3下yum在线安装的openldap-servers-2.4.44-20.el7.x86_64，安装配置完成后启动报错，报错日志：[root@openldap ~]# systemctl start slapdJob for slapd.service failed because the control process exited with error code...
2019-01-08 16:04:54
9490
5
原创 [LDAP] CentOS7 OpenLDAP主从架构部署
1. 系统环境操作系统：CentOS7.3OpenLDAP：2.4.44PHPldapAdmin：v-1.2.3Hostname IP Address Role ldap1 192.167.1.2 LDAP Server ldap2 192.168.1.3 LDAP Client 2. 环境准备（两台主...
2019-01-08 13:45:58
2204
原创 [MySQL] MySQL5.6忘记root密码
环境： CentOS6.7 + MySQL5.6，忘记root密码。重置方法：1. 停止MySQL服务[root@vm ~]# service mysql stop2. 修改MySQL配置文件，取消账号验证[root@vm ~]# vi /etc/my.cnf[mysqld]skip-grant-tables3. 修改root密码[root@vm ~]# my...
2019-01-08 10:58:58
739
原创 [MySQL] MySQL密码强度规则查询
MySQL5.6.6版本之后增加了密码强度验证插件validate_password，相关的密码规则查询方法：mysql> show variables like "%password%";+---------------------------------------+--------+| Variable_name | Value...
2019-01-04 11:45:03
1451
原创 [Cassandra] Cassandra3修改MAX_HEAP_SIZE
Cassandra集群频繁内存溢出报错，修改最大堆内存配置，保存后重启cassandra服务生效。[root@cassandra-01 conf]# vi $CASSANDRA_HOME/conf/cassandra-env.shMAX_HEAP_SIZE="16G" #两个参数要一起修改HEAP_NEWSIZE="1600M"重启Cassandra之后查看修改的配置是否生效可...
2019-01-03 18:35:42
1466
原创 [Linux] CentOS设置主机之间免密互信
已有三台CentOS7主机，设置三台主机之间指定用户的密码互信，实现免密登录。三台主机：192.168.1.2，192.168.1.3, 192.168.1.4 1. 3台主机上分别生成秘钥[root@vm1 ~]# ssh-keygen -t rsa 2. 第一台主机导入公钥到本机第一台主机导入公钥到本机，并拷贝公钥到第二台主机[root@vm1 ~]# ...
2019-01-03 18:31:09
1288
原创 [Cassandra] Cassandra3配置JMX remote connection
官方文档：https://docs.datastax.com/en/dse-trblshoot/doc/troubleshooting/connectionsFail.html [root@cassandra-01 conf]# vi $CASSANDRA_HOME/conf/cassandra-env.sh# Specifies the default port over w...
2019-01-03 11:59:11
814
原创 [Cassandra] Cassandra3设置开机自启动
1. 编写开机启动脚本[root@cassandra-01 ~]# cd /etc/rc.d/init.d/[root@cassandra-01 init.d]# vi cassandra写入以下内容并保存关闭#!/bin/sh# chkconfig: 2345 60 60# description: service for cassandra 3.10, 2018-12-2...
2018-12-28 18:07:45
1200
原创 [Linux] CentOS6.7更换硬盘文件不丢失
现况：CentOS6.7虚机，已挂载1T硬盘（/dev/sdb），挂载盘已满，需要扩容。已有1T新硬盘（/dev/sdc），需要把新盘扩容到旧盘上去。但因为早期旧挂载盘没有配置LVM，无法动态扩容。解决：挂载新盘，做成LVM 旧盘文件同步到新盘（保持文件及文件夹属主、权限、编辑时间不变） 格式化旧盘，做LVM 扩容新盘，把旧盘空间扩容到新盘上 注意事项：动手之前备份完...
2018-11-28 21:34:39
544
原创 [IDEA] IDEA集成SonarLint插件
1. 打开IDEA，File-Settings-Plugins，搜索sonar2. 点击Install安装SonarLint 3. 安装完成之后要重启IDEA让插件生效，点击Restart IntelliJ IDEA4. 修改maven配置文件settings.xml，添加sonar服务器配置修改D:\apache-maven-3.3.9\conf\setti...
2018-11-20 18:59:19
1388
原创 [Cassandra] Cassandra3.10创建表时“Column family ID mismatch”报错解决
记一次cassandra创建表时“Column family ID mismatch”报错解决环境：CentOS6.7 + JDK8 + Cassandra3.10 问题：Cassandra创建表时报错：cassandra@cqlsh:ks_test> CREATE TABLE tb_test (id text,times int,name text,PRIMAR...
2018-11-20 14:42:02
2052
原创 [CDH] CDH5集成Spark2.2后spark-shell启动报错解决
CDH5已集成Spark2.2，spark-shell启动报错：[root@hadoop01 bin]# ./spark2-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apache.spark.deploy.Sp...
2018-11-13 18:25:52
2185
原创 [MySQL] MySQL主从同步报错1236解决
记一次MySQL主从同步1236报错文件解决。报错：Slave同步失败报错1236，日志mysql> show slave status \G*************************** 1. row *************************** Slave_IO_State: Maste...
2018-11-05 11:55:34
5580
原创 [Linux] yum只下载rpm包不安装
yum下只下载rpm包不安装yum install --downloadonly --downloaddir=/tmp python2-pytoml
2018-10-26 17:43:59
1263
原创 [Hadoop] Linux用户和Hadoop用户权限
1. 新建Linux用户组和用户使用root用户登录Linux服务器，新建用户组和用户[root@vm ~]# groupadd test[root@vm ~]# useradd -d /usr/test/ -m test -g test2. 新建HDFS用户用户使用HDFS超级用户在HDFS上为新建的Linux用户创建家目录文件夹，并赋予权限[root@vm ~]...
2018-10-23 15:04:22
3713
原创 [CDH] CDH部署注意事项
JDK：JDK要用Oracle的JDK账号：安装cm+cdh环境使用root账号或者有sudo权限的无密码用户时区：时区同步没做会导致hbase挂掉swappiness：使用物理磁盘作为内存来使用。范围0~100，0不代表禁用，而是惰性最高；100表示使用积极性最高。一般为物理内存的2倍。集群计算对实时性要求高的 swap=0，允许job挂 迅速地加大内存或调大参数 快速执行...
2018-10-11 21:04:27
499
原创 [MySQL] 记一次MGR组复制GTID（1236）异常的解决
现象：应用服务向MGR其中一个节点发起写请求报错mysql> (3101, 'Plugin instructed the server to rollback the current transaction.')检查该节点组同步报错mysql> SELECT * FROM performance_schema.replication_group_members;+...
2018-10-09 17:30:12
3508
原创 [KairosDB] CentOS7 安装KairosDB-1.2.1
1. 系统环境：OS：CentOS7.3 Java：JDK8 Cassandra：cassandra-3.10 2. 安装KairosDB2.1 下载解压[root@cassandra01 software]# tar -zxvf kairosdb-1.2.1-1.tar.gz -C /software/[root@cassandra01 software]# cd...
2018-10-04 19:36:45
844
原创 [Hadoop] CentOS7安装Zookeeper-3.4.5-cdh5.7.0（单节点）
1. Zookeeper下载安装我的环境使用的套件版本是cdh5.7，所以zookeeper也选择对应的版本下载。下载解压[hadoop@hadoop01 software]$ wget http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz[hadoop@hadoop01 software...
2018-09-29 17:46:03
2299
原创 [Hadoop] CentOS7 部署Kafka0.10.2.1（单节点）
1. 软件版本操作系统：CentOS7.3 Scala版本：2.11.12 Zookeeper：zookeeper-3.4.5-cdh5.7.0 Kafka版本：0.10.2.1（版本选择收spark straming+scala版本限制）当前系统已经安装好scala和zookeeper。 2. Kafka安装下载解压[hadoop@hadoop01 software...
2018-09-29 17:34:26
545
原创 [Hadoop] 大数据项目实操 （未完成）
1. 背景公司已有业务系统繁多，日志量大，需要集中管理，预警和监控。传统的日志方案不满足需求：ELK：适合中小型企业，数据量大hold不住。 目前很多监控服务（如zabbix）还达不到秒级的通知，有时间延迟外部压力：SLA：服务宕机时间 99.99%，即允许服务宕机时间为0.01% 2. 需求在线日志收集->分析->可视化&预警，使用大数据...
2018-09-29 15:17:24
2566
原创 [Hadoop] CentOS7 安装flume-ng-1.6.0-cdh5.7.0
1. FlumeFlume官方文档：http://flume.apache.org/FlumeUserGuide.htmlFlume官方文档(CDH指定版本)：http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/Flume是一个分布式的日志收集框架，针对日志数据进行采集汇总，把日志从A地方搬运到B地方去。...
2018-09-29 14:55:18
1305
原创 [Grafana] CentOS7 安装grafana-5.2.4
Grafana：The Open platform for beautiful analytics and monitoring.操作系统： CentOS7.3 1. 安装grafana[root@hadoop01 software]# yum install https://s3-us-west-2.amazonaws.com/grafana-releases/relea...
2018-09-29 10:24:47
787
原创 [InfluxDB] CentOS7 安装InfluxDB
下载安装[root@hadoop01 software]# wget https://dl.influxdata.com/influxdb/releases/influxdb-1.6.3.x86_64.rpm[root@hadoop01 software]# yum localinstall influxdb-1.6.3.x86_64.rpm修改配置文件[root@hado...
2018-09-28 12:00:27
2734
转载 [Linux] OOM-killer机制（杀掉进程，释放内存）
Linux下面有个特性叫OOM killer（Out Of Memory killer），这个东西会在系统内存耗尽的情况下跳出来，选择性的干掉一些进程以求释放一些内存。相信广大从事Linux服务端编程的农民工兄弟们或多或少遇到过（人在江湖漂，哪有不挨刀啊）。典型的情况是：某天机器突然登不上了，能ping通，但是ssh死活连不了。原因是sshd进程被OOM killer干掉了（泪流满面）。重启机器后...
2018-09-25 21:23:29
1712
原创 [Hadoop] Azkaban 安装插件
前面我们完成了Azkaban-3.58.0的源码编译和multiple-executor mode部署，现在来安装hdfs-viewer插件。1. 拷贝hdfs-viewer到目标主机hdfs-viewer插件是安装在azkaban-web-server端的，首先去目标主机的$AK_HOME/下新建plugins/viewer文件夹，然后解压编译好的将编译好的hdfs-viewer插...
2018-09-20 22:01:59
750
原创 [Hadoop] CentOS7源码编译部署Azkaban-3.58.0多Executor
Azkaban3.0+版本提供了三种安装模式：单solo-server mode：单机模式，适合开发使用。使用内置的h2数据库，web server和executor server在同一个进程里； two server mode：双机模式，适合生产环境。使用主从的MySQL做元数据存储，web server和executor server在不同的进程中，更新和升级对用户的影响较小； ...
2018-09-18 18:13:54
643
原创 [MongoDB] CentOS7安装MongoDB
CentOS7安装MongoDB[root@vm ~]# yum install -y mongodb-org[root@vm ~]# systemctl start mongod[root@vm ~]# systemctl is-active mongod[root@vm ~]# netstat -nltp | grep 27017[root@vm ~]# mongo Mo...
2018-09-14 20:49:15
194
原创 [Hadoop] IDEA隐藏INFO日志信息
Windows下面使用Intellij IDEA编程，打印的[INFO]信息很多。不想看太多INFO，可以提高日志级别为WARN或者ERROR。1. 在src/main下面新建resources文件夹，并在resources文件夹上面点右键 - Make Directory As - Resource Root2. 拷贝spark的conf目录下的log4j.properties文件到上面...
2018-09-07 13:43:15
1362
原创 [Hadoop] Spark2.3.1编译报错“[error] javac: invalid source release: 1.8”解决
编译环境：CentOS7.3 + Maven-3.3.9 + JDK1.8.0_181 + Scala-2.11.12Hadoop版本：hadoop-2.6.0-cdh5.13.1Spark源码版本：spark-2.3.1 Spark编译报错：[error] javac: invalid source release: 1.8[hadoop@hadoop000 spark-...
2018-09-06 11:44:45
1411
原创 [Hadoop] Spark SQL - DataFrame & DataSet
1. 基本概念分布式计算框架的产生DataFrame这个词不是Spark SQL独创的，是其他框架已有的（比如说Python的pandas，R语言也有），Spark SQL从其他框架借鉴来的。 Python适用于单机的计算，单机的能处理的数据量很有限。亟待分布式计算框架。 RDD 和MapReduce的学习和开发成本太高，普通程序员开发难度大。DataFrame vs DataSet...
2018-09-03 23:11:16
330
Cassandra 监控脚本
2021-04-06
.net2.0三层代码自动生成器
2021-03-17
glibc-2.14.1 全套rpm包（CentOS6）
2020-08-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人