大数据
姚贤贤
这个作者很懒,什么都没留下…
展开
-
Flink1.13.x+iceberg环境搭建
1.安装hadooptar -zxvf hadoop-2.10.1.tar.gz配置JDK和Hadoop环境变量vi /etc/profileexport JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64export PATH=$PATH:$JAVA_HOME/binexport HADOOP_HOME=/home/hadoop-2.10.1export HADOOP_CONF_DIR=/home/ha原创 2022-05-27 11:20:33 · 946 阅读 · 2 评论 -
Flink教程-安装(一)
一.下载https://flink.apache.org/downloads.html二.解压tar -zxvf flink-1.12.4-bin-scala_2.11.tgz三.配置环境变量vi /etc/profile在末尾填上export FLNK_HOME=/home/flink-1.12.4export PATH=$FLINK_HOME/bin:$PATH四.启动Flinkcd /home/flink-1.12.4/bin./start-cluster.sh启动后使用jp原创 2021-05-27 20:18:01 · 1240 阅读 · 0 评论 -
Spark教程-Spark安装单机模式(一)
1.下载安装包http://spark.apache.org/downloads.html2.解压缩tar -zxvf spark-3.0.1-bin-hadoop2.7.tgz3.配置mastercp spark-env.sh.template spark-env.shvi spark-env.sh在文件中添加export SPARK_MASTER_HOST=192.168.5.1504.配置slavesslaves现在就主机一台,默认localhost5.配置jdk环境cd s原创 2021-05-26 15:12:38 · 700 阅读 · 0 评论 -
Hadoop(二)-Hive安装
事先装好Hadoop1.下载Hivehttps://mirrors.bfsu.edu.cn/apache/hive/这里下载apache-hive-2.3.8-bin.tar.gz2.解压安装包tar -xzvf apache-hive-2.3.8-bin.tar.gz3.配置环境变量vi /etc/profileexport JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64export PATH原创 2021-05-07 17:05:30 · 339 阅读 · 0 评论 -
Hadoop(一)-hadoop安装
1.下载二进制安装包https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz2.下载后解压tar -zxvf hadoop-2.10.1.tar.gz3.配置JDK和Hadoop环境变量vi /etc/profile,新增以下:export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64原创 2021-05-07 16:51:35 · 210 阅读 · 0 评论 -
kafka按照时间查询记录
本质是重新开始消费,逐条按时间比较–from-beginning //表示重头开始读–property print.timestamp=true //表示显示入kafka时间使用awk对消费出来的记录进行筛选过滤,比如以下表示对每条消费记录按照“CreateTime:“或者”\t“进行分割,$0表示原始的记录,$1表示分割后的第1个字符串,以下$2为分割后的第二字符串,为入kafka的时间./kafka-console-consumer.sh --topic com.zte.asset.collec原创 2021-03-09 09:27:02 · 6439 阅读 · 0 评论 -
zookeeper,kafka,storm进行服务开机自启动
一.zookeeper自启动(1) cd /etc/init.d(2) vi zookeeper,添加以下内容#!/bin/bash#chkconfig:2345 20 90#description:zookeeperZOOKEEPER_HOME=/home/zoo/zookeeper-3.4.10case $1 in start) su root ${ZOO...原创 2019-05-05 15:44:35 · 768 阅读 · 0 评论 -
logstash 对配置文件conf敏感信息,密码等加密
logstash的配置文件conf经常会涉及敏感信息,比如ES,mysql的账户密码等,以下使用logstash导入mysql为例子,加密隐藏mysql的密码。1.先创建keystore,可以不设置keystore密码,直接选择ybin/logstash-keystore createconf目录下会出现logstash.keystore2.创建你要加密的变量key,例如这里添加mys...原创 2019-02-12 18:19:51 · 4049 阅读 · 0 评论 -
Kafka删除主题topic
1.关闭所有和topic相关的生产者和消费者2.在server.properties添加设置 kafka topic可删除delete.topic.enable=true3.使用命令删除bin/kafka-topics.sh --delete --zookeeper 10.49.157.173:2181 --topic topicname...原创 2019-02-15 15:58:13 · 1114 阅读 · 0 评论 -
logstash解析嵌套json格式数据
现有json:{ "name":"zhangsan", "friends": { "friend1":"lisi", "friend2":"wangwu", "msg":["haha","yaya"] }}将其解析为:{ "name":"zhangs原创 2019-02-01 18:11:58 · 13275 阅读 · 3 评论 -
logstash离线安装logstash-output-jdbc
直接从logstash-output-jdbc github 下载安装包,然后尝试很多方法都无法进行离线安装,只好如下安装了1.找一台可以联网机子,然后装logstash,然后直接在线安装bin/logstash-plugin install logstash-output-jdbc2.安装好以后,对logstash-output-jdbc进行剥离打包,如何命令失败可以多尝试几次就OK了b...原创 2019-02-01 18:06:32 · 4418 阅读 · 0 评论 -
Zookeeper和Kafka的关系,为啥Kafka依赖Zookeeper
zookeeper和Kafka的关系1.在Kafka的设计中,选择了使用Zookeeper来进行所有Broker的管理,体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点,节点路径为/brokers/ids每个Broker服务器在启动时,都会到Zookeeper上进行注册,即创建/brokers/ids/[0-N]的节点,然后写入IP,端口等信息,Broker创建的...原创 2018-12-26 16:13:15 · 58806 阅读 · 2 评论 -
《从Paxos到zookeeper分布式一致性原理与实践》理解
zookeeper的来由最大一个特点就是解决分布式一致性问题。简单讲,数据一致性就是指在对一个副本数据进行更新的同时,必须确保也能更新其他副本(其他副本可能在各个不同的服务器节点),否则不同副本之间的数据将不再一致。那么解决这样的一致性问题,大家肯定想到使用锁,但使用简单的使用锁实在太影响性能。所以有很多一致性协议出现,二阶段提交协议,三阶段提交协议,还有Paxos算法等1.2PC(Tw...原创 2018-12-26 16:06:01 · 3710 阅读 · 0 评论