![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 82
ζั͡ޓއއއ๓丶坏男孩
IT小白一个,请多指教!
展开
-
Flink流处理-Redis Connector
环境flink-1.9.0redis-5.0.4单机模式一、需要的依赖<!--flink流处理依赖--><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId>...原创 2019-12-19 18:06:09 · 4447 阅读 · 0 评论 -
Flink流处理-Kafka Connector
环境flink-1.9.0kafka_2.11-0.10.2.0一、需要的依赖说明:flink与kafka版本对应关系即需要根据kafka版本选择对应的连接器,如果kafka版本大于1.0.0可以直接使用通用的连接器,如果版本较低则需要根据kafka版本选择对应版本的连接器。这里使用的是kafka_2.11-0.10.2.0版本。<!--flink流处理依赖--><...原创 2019-12-19 17:40:35 · 2425 阅读 · 0 评论 -
Flink流处理-HDFS Connector
环境flink-1.9.0hadoop-2.7.3一、需要的依赖<!--flink_java--><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version&g...原创 2019-12-19 16:27:10 · 1428 阅读 · 0 评论 -
Flink流处理-DataStream常用Source及Sink
环境flink-1.9.0一、需要的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId> <version>1.9.0</versio...原创 2019-11-26 19:14:00 · 3376 阅读 · 0 评论 -
Flink批处理-DataSet WordCount实例
环境flink-1.9.0测试文件how are youworld and thathello worldjack andapp storm storm whatspark sparkWordCount实例package cn.myclass.batch;import org.apache.flink.api.common.functions.FlatMapFunctio...原创 2019-11-25 18:03:54 · 598 阅读 · 0 评论 -
Flink批处理-DataSet Transformations转化
环境flink-1.9.0一、需要的依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.9.0</version></d...原创 2019-11-25 17:49:21 · 439 阅读 · 0 评论 -
Flink批处理-DataSet常用Source及Sink
环境flink-1.9.0mysql-5.5一、需要的依赖<--基础依赖--><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>...原创 2019-11-25 17:14:08 · 1961 阅读 · 1 评论 -
Flink-1.9.0 Standalone集群搭建
环境节点ip及映射192.168.159.101 master192.168.159.102 node1192.168.159.103 node2192.168.159.104 node3这里master为flink主节点其它为子节点搭建步骤1.下载flink通过官网https://flink.apache.org/downloa...原创 2019-08-30 14:30:46 · 3792 阅读 · 8 评论 -
Kafka-2.11-0.10.2.0的安装
安装环境:centos7hadoop-2.7.3zookeeper-3.4.10kafka-2.11-0.10.2.0 在node1, node2, node3节点上安装安装kafka之前必须安装zookeeper,如果没有安装zookeeper详细见https://blog.csdn.net/qq_43605654/article/details/90750416一...原创 2019-06-04 20:00:15 · 1685 阅读 · 0 评论 -
Flume-1.7.0的安装
环境centos7hadoop-2.7.3flume-1.7.0说明:在哪台机器上采集数据就在哪台机器上安装flume,这里只在一个机器上装了flume安装步骤1.解压tar -zxvf apache-flume-1.7.0-bin.tar.gz2.重命名(方便使用)mv apache-flume-1.7.0-bin flume-1.7.0...原创 2019-06-04 17:27:19 · 608 阅读 · 0 评论 -
Sqoop-1.4.7的安装
环境hadoop-2.7.3mysql-5.7.24sqoop-1.4.7安装步骤1.下载并解压http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz上传至linux并解压文件tar -zxvf sqoop-1.4.7.bin__hadoop-2.6....原创 2019-06-04 14:43:19 · 1194 阅读 · 0 评论 -
Hadoop集群动态添加删除节点
环境192.168.159.101 master192.168.159.102 node1192.168.159.103 node2192.168.159.104 node3新添加192.168.159.105 ssy添加1.首先配置主节点的hdfs-site.xml添加允许和拒绝加入集群的节点列表(如果允许的列表为空默认都允...原创 2019-06-04 14:29:51 · 5736 阅读 · 1 评论 -
Mysql-5.7.24和Hive-2.3.0的安装
实验环境:centos7Mysql-5.7.24 使用yum源下载hive-2.3.0只需要在主节点完成即可一、安装mysql1.下载yum源首先查看本机是否有自带数据库,如果有先卸载自带数据库rpm -qa |grep mysqlrpm -qa|grep mariadb删除rpm -e --nodeps mariadb-libs-5.5.6...原创 2019-06-03 14:11:37 · 705 阅读 · 0 评论 -
使用Shell脚本简化jps,zookeeper,kafka,storm的开启和关闭
1.调用所有节点的jps指令#!/bin/bash#输出提示信息echo "start jps-all.sh..."#设置映射集合hosts="master node1 node2 node3"#循环连接,执行脚本for host in $hostsdo echo "---------$host--------" #连接host主机,调用jps指令 ssh $hos...原创 2019-06-03 13:40:12 · 534 阅读 · 0 评论 -
Zookeeper-3.4.10和HBase-1.3.0的安装
实验环境:centos7,共四台虚拟机,对应关系如下:master 192.168.159.101 hbase主节点node1 192.168.159.102 hbase子节点 zookeepernode2 192.168.159.103 hbase子节点 zookeepernode3 192.168.159.104 hbase子节点 z...原创 2019-06-03 13:11:49 · 552 阅读 · 0 评论 -
Hadoop-2.7.3完全分布式集群搭建(Centos7系统)
实验环境Centos7使用Hadoop2.7.3和jdk1.8搭建4个结点的完全分布式,一个namenode,3个datanode192.168.159.101 master192.168.159.102 node1192.168.159.103 node2192.168.159.104 node31.首先做好准备工作下载好对应的hadoop和jdk版本...原创 2019-06-03 09:13:52 · 9080 阅读 · 12 评论 -
Scala-2.11和Spark-2.3.3的安装
安装环境:centos7hadoop-2.7.3scala-2.11 master,node1,node2,node3spark-2.3.3 master,node1,node2,node3安装Scala-2.111.下载并解压tar -zxvf scala-2.11.8.tgz -C scala-2.11/2.配置环境变量...原创 2019-06-05 21:19:14 · 1206 阅读 · 0 评论 -
Storm-1.1.3的安装
环境centos7zookeeper-3.4.10storm-1.1.3master节点 nimbusnode1,2,3节点 supervisor安装storm之前必须安装zookeeper安装步骤1、下载并解压下载网址https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache...原创 2019-06-05 21:02:45 · 1062 阅读 · 0 评论