- 博客(42)
- 收藏
- 关注
RSS订阅原创 详解函数 scanf()、getchar()函数
当我们解决了上面的问题，又发现了新的情况：当我们输入的密码带有空白字符（空格符，制表符）时，不等我们从键盘上输入（Y/N）进行密码确认，直接跳出“密码确认失败”；经过上面的分析，发现没等我们从键盘上输入（Y/N）进行密码确认，rs 直接拿着获取到的字符 d ，进行密码确认校验了，所以直接跳出“密码确认失败”经过上面的分析，发现没等我们从键盘上输入（Y/N）进行密码确认，rs 直接拿着获取到的 \n，进行密码确认校验了，所以直接跳出“密码确认失败”因为在密码确认环节前缓冲区中还有其他的数据，导致问题出现。
2023-07-07 17:34:19
208
原创 Apache Pulsar 分布式部署
1.Pulsar 简介Pulsar 是一个支持多租户的、高性能的消息中间件；最初是由 Yahoo 研发的开源，分布式pub-sub系统，现在是Apache的一个顶级开源项目Pulsar 提供了四种订阅类型，它们可以共存在同一个主题上，以订阅名进行区分：独享(exclusive)订阅——一个订阅名下同时只能有一个消费者。共享(shared)订阅——可以由多个消费者订阅，每个消费者接收其中...
2023-07-06 18:37:00
395
原创 ElasticSearch关于term&terms搜索大小写问题
最近在es使用term查询是，发现查询结果一直为空GET /movies/_doc/100结果：{ "_index" : "movies", "_type" : "_doc", "_id" : "100", "_version" : 1, "_seq_no" : 237, "_primary_term" : 1, "found" : true, "_sou...
2022-11-21 09:44:00
78
原创 Nginx 安装部署
1.下载 nginx 及相关组件wget http://nginx.org/download/nginx-1.10.2.tar.gzwget http://www.openssl.org/source/openssl-fips-2.0.10.tar.gzwget http://zlib.net/zlib-1.2.11.tar.gzwget https://netix.dl.sourcef...
2020-04-23 22:59:00
63
原创 MPP架构
1.数据库架构设计Shared Everthing：完全透明共享 CPU/MEMORY/IO,并行处理能力是最差的；如：SQL ServerShared Storage：各个处理单元使用自己的私有 CPU 和 Memory,共享磁盘系统；Shared Nothing：各个处理单元都有自己私有的 CPU/内存/磁盘；2.MPP 架构的优缺点易扩容：可轻松通过扩展机器节点(处理单元...
2020-04-23 22:25:00
36
原创 Presto 安装部署
1.版本选型hadoop-3.1.3hive-3.1.2presto-0.233.12.Presto 简介详细参考：https://prestodb.github.io/docs/current/connector.html2.1 Presto 优势多数据源，支持SQL，自定义扩展Connector混合计算(同一种数据源的不同库 or表；将多个数据源的数据进行合并)低延迟，高并...
2020-04-02 23:54:00
49
原创 基于MaxWell 实时同步 MySQL 日志 binlog 到 Kafka
1.项目背景1.1 MaxWell 介绍Maxwell是一个守护进程，它能监听并读取MySQL的binlog，然后解析输出为json，支持将数据输出到Kafka、Kinesis或其他流媒体平台，支持库和表的过滤。地址：https://github.com/zendesk/maxwell1.2 版本选型maxwell-1.25.02.配置MySql需要打开MySql的 binlog(...
2020-04-02 22:32:00
72
原创 大数据平台搭建：Hadoop-3.1.3+Hive-3.1.2+HBase-2.2.3+Zookeeper-3.5.7+Kafka_2.11-2.4.0+Spark-2.4.5...
1.框架选型hadoop-3.1.3hive-3.1.2zookeeper-3.5.7hbase-2.2.3kafka_2.11-2.4.0spark-2.4.5-bin-hadoop2.72.安装前准备1.关闭防火墙2.安装 JDK3.安装 Scala4.配置ssh 免密5.配置 IP 和 主机名映射6.Mysql 安装3.安装3.1 Hadoop 安装1.ha...
2020-03-29 23:34:00
201
原创 Impala & Hive 使用复杂数据类型
1. 环境CDH 5.16.12. Hive 使用复杂数据类型2.1 数据格式1 zhangsan:man football,basketball2 lisi:female sing,dance2.2 Hive 建表create table studentInfo( id int, info map<string,stri...
2020-02-12 01:01:00
54
原创 Log4j整合Flume
1.环境CDH 5.16.1Spark 2.3.0 cloudera4Kafka 2.1.0+kafka4.0.02.Log4j——>Flume2.1 Log4j 产生日志import org.apache.log4j.Logger;/** * @ClassName LoggerGenerator * @Author wuning * @Date: 2020/2/3 ...
2020-02-03 23:27:00
33
原创 ClickHouse 详解
1. 简介官方文档：https://clickhouse.yandex/docsClickHouse 是一个采用列式存储，用于联机分析(OLAP)的数据库管理系统(DBMS)2.ClickHouse 的优点2.1 "真正"的列式存储一个真正的列式存储的数据库管理系统中，除了数据本身之外不应该存在其他额外的数据。意味着为了避免在只旁边存储它们的长度 'number',必须支持固定长度的数...
2020-02-02 23:58:00
201
原创 SparkStreaming(二)--SparkStreaming整合Kafka
1.环境CDH 5.16.1Spark 2.3.0.Cloudera42.SparkStreaming整合Kafka地址：http://spark.apache.org/docs/2.3.0/streaming-kafka-integration.html两种方式整合：ReceiverDirect3. Receiver整合SparkStreaming采用Receiver方...
2020-02-02 23:52:00
37
原创 SparkStreaming(一)--核心概念及算子
1.环境CDH 5.16.1Spark 2.3.0.cloudera42.核心概念官网： https://spark.apache.org/docs/2.3.0/streaming-programming-guide.htmlGitHub： https://github.com/apache/spark2.1 StreamingContext第一点class StreamingC...
2020-02-02 22:26:00
43
原创 ClickHouse 系列报错
1. ClickHouse 查询时，报错：Memory limit (for query) exceeded: would use 9.38 GiB (attempt to allocate chunk of 135439453 bytes), maximum: 9.31 GiB1.1 ClickHouse 环境1.2 报错原因默认情况下，ClickHouse会限制group by使用的...
2020-01-06 19:04:00
96
原创 WaterDrop 系列报错
1.使用WaterDrop 从kafka中消费数据，写入到ClickHouse1.1 环境SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179clickhouse-1.1.54236-4.el7.x86_64waterdrop-1.4.2waterdrop 配置文件spark { spark.streaming.batchDuration = ...
2019-12-30 18:21:00
135
原创 ClickHouse 高可用集群安装测试
1. 环境CentOS 7.62. 安装前准备2.1 检查是否支持 SSE 4.2 指令集grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"2.2 CentOS 取消文件打开数限制文件打开数限制在 /etc/security/limits....
2019-12-27 19:08:00
58
原创 Kafka 高级API 实战
1. 环境CDH 5.16.1kafka版本 2.1.0-kafka-4.0.0<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> <version>2.1.0-ka...
2019-12-15 19:29:00
35
原创 CDH 5.16.1 离线安装 Spark 2.3
1.环境CDH 5.16.1Centos 7.6Scala 2.11.82.安装前准备1.下载 Spark2.3 所需的Parcel包http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/将三个文件拷贝到 /opt/cloudera/parcel-repo 目录下，如果有有相同文件,就将之前的文件重命名2.下载Sp...
2019-12-11 15:18:00
32
原创 CDH5.16.1 离线安装 Kafka
1.环境CDH 5.16.1CentOS 7.62.安装前准备1.查看Kafka与CDH版本对应https://docs.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka2.下载Kafka的parcel包http://archive.cloud...
2019-12-11 14:17:00
32
原创 CDH5.16.1新增节点
1.环境CentOS 7.6CDH 5.16.12.服务器环境准备1.设置 hostname 和 hostsvim /etc/hostnamevim /etc/hosts2.关闭SELINUX,将SELINUX=enforcing 改为SELINUX=disabledvim /etc/selinux/config3.配置ssh免密#1.在新增节点生成公钥ssh-keyge...
2019-11-25 18:22:00
28
原创 mysql搭建主从结构
1.安装 mysql服务1.卸载系统自带的相关数据库rpm -qa | grep mysqlrpm -qa | grep mariadbrpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_642.部署Mysqltar -zxvf mysql-5.7.25-el7-x86_64.tar.gz -C /opt/module/3.账号与权限...
2019-11-25 14:50:00
22
原创 Kerberos常见错误
1.CDH安装Kerberos后，重启集群报错Socket Reader #1 for port 8022: readAndProcess from client 192.168.50.83 threw exception [javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: Failu...
2019-11-22 10:38:00
70
原创 expect实现脚本的 自动交互
1.需求最近需要使用scp自动将本地服务器的文件拷贝到远程服务器上;2.安装expect#安装expect前，需要安装tcl环境yum -y install tclyum -y install expect3.expect脚本#!/usr/bin/expectset passwd "xxxx"set ip "192.168.x.xxx"set username "scpus...
2019-11-21 23:11:00
21
原创 Hive分区表新增字段，查询为Null
1.问题在开发过程中，向hive分区表新增字段，发现查询新增字段的值为NULL2.问题复现1.创建分区表，并插入数据create table student(id int,name string) partitioned by (dt string);insert into table student partition(dt = '2019-11-13') select 1,'zha...
2019-11-15 16:43:00
57
原创 通过crontab监控SparkStreaming任务运行状态
1.问题最近发现SparkStreaming提交的job经常在半夜挂掉，于是写了个定时任务监控SparkStreaming的运行状态，保证其不挂掉2.shell脚本touch /opt/module/jobs/monitorlog.txtvim /opt/module/jobs/monitor.sh#!/bin/bash#在linux中查找你所运行的spark任务中 任务名称为W...
2019-11-14 23:15:00
17
原创 Linux服务器修改系统时间
1.问题最近发现有一台服务器的时间比北京时间慢了8个小时,发现采用的是 UTC 时区2.修改 UTC 时区为 CST 中国标准时间mv /etc/localtime /etc/localtime.bakln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime3.查看修改后的时间date...
2019-11-04 09:42:00
17
原创 CDH5.16.1安装Sentry
1.环境CentOS 7.6CDH 5.16.12.安装Sentry1.创建数据库create database sentry default character set utf8;CREATE USER 'sentry'@'%' IDENTIFIED BY 'admin'; GRANT ALL PRIVILEGES ON sentry. * TO 'sentry'@'%' I...
2019-11-02 14:02:00
16
原创 Linux命令删除指定日期的文件
1.需求按时间删除 hive 产生的日志2.查看 /var/log/hive目录cd /var/log/hivell3.使用find命令按时间筛选find 参数说明-amin -n: 最后一次访问发生在 n分钟 之内-amin n: 最后一次访问发生在距离当前时间 n分钟 至 (n+1)分钟-amin +n: 最后一次访问发生在 (n+1)分钟 之外-atime -n: ...
2019-11-02 14:01:00
48
原创 使用Beeline连接Impala
1.环境CDH 5.16.1集群未集成Kerberos2.下载Impala JDBC驱动下载地址：https://downloads.cloudera.com/connectors/impala_jdbc_2.5.41.1061.zip3.将压缩包下的ImpalaJDBC41.jar，TCLIServiceClient.jar拷贝到 /opt/cloudera/parcels/CDH/...
2019-10-29 10:38:00
94
原创 Azkaban安装配置
1. 环境Centos 7.6Mysql 5.7.252.安装Azkaban1.创建 /opt/module/azkaban 目录mkdir -p /opt/module/azkaban2.解压 azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gz、azkaban-web-server-2.5.0....
2019-10-28 16:44:00
19
原创 CentOS7 离线搭建 CDH5.16.1
1. 环境Centos 7.6JDK 1.8Scala 2.11.8服务器3台2. 服务器搭建前环境准备1.所有节点关闭防火墙#查看防火墙状态firewall-cmd --state#停止firewallsystemctl stop firewalld.service#禁止firewall开机启动systemctl disable firewalld.service...
2019-10-25 18:04:00
33
原创 CDH5.16.1 Hue服务的 Load Balancer 启动失败
1.集群环境CentOS 7.6CDH5.16.12.问题详情报错原因： 与服务器通信失败 No such file or directory: '/var/log/hue-httpd/error_log'3.问题原因及解决方法原因：服务器环境没有预先安装httpd，mod_ssl服务解决方法：yum -y install httpdyum -y install mod_s...
2019-10-25 17:57:00
25
原创 CDH添加Hue服务时，验证数据库连接报错 Unexpected error. Unable to verify database connection....
1.问题2.查看CDH服务节点日志/opt/module/cloudera-manager/cm-5.16.1/log/cloudera-scm-servertail -n 10 cloudera-scm-server.log3.问题原因因为我们的mysql是重新安装的，服务器重新安装mysql的同时，会删除系统原来的mysql，此时会连带着删除 libmysqlclient.s0...
2019-10-25 16:25:00
73
原创 安装CDH，建议将 /proc/sys/vm/swappiness 设置为最大值 10
1.在安装CDH中，Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 102.修改swappiness参数1.临时修改sysctl vm.swappiness=10cat /proc/sys/vm/swappiness2.永久修改在 /etc/systcl.conf 中追加 vm.swappiness=10vim /etc/systcl....
2019-10-25 15:33:00
81
原创 Mysql登录报错 “Access denied for user 'root'@'localhost' (using password: YES)”
1.环境CentOS 7.6Mysql 5.72.问题3.解决方案1. 关闭Mysql服务service mysqld stop2. 使用命令跳过输入密码验证过程mysqld_safe --skip-grant-tables &#--skip-grant-tables：跳过授权表，通过此参数来跳过输入密码，# & 表示设置此进程为后台进程3. 进入Mys...
2019-10-25 12:51:00
23
原创 NameNode 切换时，Hive自定义的函数不可用？
1. 集群环境HDFS配置了HAHive的自定义函数在HDFS没配置HA之前创建的Hive的元数据有Mysql管理2. 配置双NameNodecdh01cdh053. 当NameNode从cdh01切换到cdh05后，Hive自定义的函数使用报错原因：在 Hive 元数据库中保存了原来的NameNode(cdh01)的路径，而不是HA组成的Cluster(nameservic...
2019-10-18 16:21:00
182
原创 Scala样例类转换为Json
1. 前言业务上需求将SparkStreaming处理好的数据回传给广告平台2. 代码import org.json4s.{Formats, NoTypeHints}import org.json4s.jackson.Serializationimport org.json4s.jackson.Serialization.writecase class Student(id: In...
2019-10-18 11:32:00
32
原创 CDH5.16.1 安装配置Kudu
1. 安装环境CDH 5.16.1 集群未启动 Kerberos2. 安装Kudu点击添加服务，添加Kudu服务到CDH分配角色集群总共7个节点，这里Master配置了两个设置 Master 和 Tablet 路径启动Kudu3. 配置Impala支持Kudu重启Impala...
2019-10-08 23:30:00
33
原创 Phoenix删除数据
1. 删除Phoenix中系统的表数据查询Phoenix系统表 (SYSTEM.CATALOG)select distinct(TABLE_NAME) FROM SYSTEM.CATALOG;在Phoenix中删除表delete from SYSTEM.CATALOG where TABLE_NAME = 'TOUTIAOCLICKDATA';!tables2. 删除HBase中...
2019-09-23 15:19:00
27
原创 HBase导入数据同时与Phoenix实现同步映射
1.HDFS上数据准备2019-03-24 09:21:57.347,869454021315519,8,12019-03-24 22:07:15.513,867789020387791,8,12019-03-24 21:43:34.81,357008082359524,8,12019-03-24 16:05:32.227,860201045831206,8,12019-03-24 1...
2019-09-23 00:34:00
22
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人