自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Flink流处理-Redis Connector

环境 flink-1.9.0 redis-5.0.4单机模式 一、需要的依赖 <!--flink流处理依赖--> <dependency> <groupId>org.apache.flink</groupId> <artifac...

2019-12-19 18:06:09

阅读数 59

评论数 0

原创 Flink流处理-Kafka Connector

环境 flink-1.9.0 kafka_2.11-0.10.2.0 一、需要的依赖 说明:flink与kafka版本对应关系 即需要根据kafka版本选择对应的连接器,如果kafka版本大于1.0.0可以直接使用通用的连接器,如果版本较低则需要根据kafka版本选择对应版本的连接器。这里使用的...

2019-12-19 17:40:35

阅读数 44

评论数 0

原创 Flink流处理-HDFS Connector

环境 flink-1.9.0 hadoop-2.7.3 一、需要的依赖 <!--flink_java--> <dependency> <groupId>org.apache.flink</groupId> <artifactId...

2019-12-19 16:27:10

阅读数 27

评论数 0

原创 Flink流处理-DataStream常用Source及Sink

环境 flink-1.9.0 一、需要的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</...

2019-11-26 19:14:00

阅读数 14

评论数 0

原创 Flink批处理-DataSet WordCount实例

环境 flink-1.9.0 测试文件 how are you world and that hello world jack and app storm storm what spark spark WordCount实例 package cn.myclass.batch; import o...

2019-11-25 18:03:54

阅读数 19

评论数 0

原创 Flink批处理-DataSet Transformations转化

环境 flink-1.9.0 一、需要的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId&g...

2019-11-25 17:49:21

阅读数 38

评论数 0

原创 Flink批处理-DataSet常用Source及Sink

环境 flink-1.9.0 mysql-5.5 一、需要的依赖 <--基础依赖--> <dependency> <groupId>org.apache.flink</groupId> <artifactId>...

2019-11-25 17:14:08

阅读数 12

评论数 0

原创 Flink-1.9.0 Standalone集群搭建

环境 节点ip及映射 192.168.159.101 master 192.168.159.102 node1 192.168.159.103 node2 192.168.159.104 node3 这里master为flink主节点其它为子节点 搭建步骤 1.下载fl...

2019-08-30 14:30:46

阅读数 1503

评论数 6

原创 Redis5.0.4 主从架构集群搭建

环境 centos7 redis-5.0.4 通过redis官方在新版本中提供的redis-cli工具快速搭建集群,3主3从架构 ,主节点端口号:7000,从节点:7001 node1 192.168.159.102 node2 192.168.159.103 node3 192.168...

2019-08-10 18:27:47

阅读数 86

评论数 0

原创 Windows安装使用netcat

1.下载netcat 下载的网址为 https://eternallybored.org/misc/netcat/ 找到netcat1.12,点击下载压缩包 2.解压下载的压缩包 我这里解压到了E:\netcat下 3.配置环境变量 使用系统已经配置的环境变量: 将程序直接...

2019-07-17 11:28:55

阅读数 130

评论数 0

原创 Scala-2.11和Spark-2.3.3的安装

安装环境: centos7 hadoop-2.7.3 scala-2.11 master,node1,node2,node3 spark-2.3.3 master,node1,node2,node3 安装Scala-2.11 1.下载并解压 tar -zxvf scala...

2019-06-05 21:19:14

阅读数 290

评论数 0

原创 Storm-1.1.3的安装

环境 centos7 zookeeper-3.4.10 storm-1.1.3 master节点 nimbus node1,2,3节点 supervisor 安装storm之前必须安装zookeeper 安装步骤 1、下载并解压 下载网址 https://mirror...

2019-06-05 21:02:45

阅读数 45

评论数 0

原创 MongoDB(单节点)搭建复制集、分片集及复制+分片

环境 Centos7 MongoDB 4.x 单机多实例的方式搭建复制集、分片集、复制+分片 复制集 简介 Mongodb复制集由一组Mongod实例(进程)组成,包含一个Primary节点和多个Secondary节点,Mongodb Driver(客户端)的所有数据都写入Pr...

2019-06-05 19:31:55

阅读数 326

评论数 0

原创 Kafka-2.11-0.10.2.0的安装

安装环境: centos7 hadoop-2.7.3 zookeeper-3.4.10 kafka-2.11-0.10.2.0 在node1, node2, node3节点上安装 安装kafka之前必须安装zookeeper,如果没有安装zookeeper详细见https://blog....

2019-06-04 20:00:15

阅读数 309

评论数 0

原创 Flume-1.7.0的安装

环境 centos7 hadoop-2.7.3 flume-1.7.0 说明:在哪台机器上采集数据就在哪台机器上安装flume,这里只在一个机器上装了flume 安装步骤 1.解压 tar -zxvf apache-flume-1.7.0-bin.tar.gz 2.重命名(...

2019-06-04 17:27:19

阅读数 106

评论数 0

原创 Sqoop-1.4.7的安装

环境 hadoop-2.7.3 mysql-5.7.24 sqoop-1.4.7 安装步骤 1.下载并解压 http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 上传至...

2019-06-04 14:43:19

阅读数 238

评论数 0

原创 Hadoop集群动态添加删除节点

环境 192.168.159.101 master 192.168.159.102 node1 192.168.159.103 node2 192.168.159.104 node3 新添加 192.168.159.105 ssy 添加 1.首先配置主节点的hdfs-si...

2019-06-04 14:29:51

阅读数 723

评论数 0

原创 计算机操作系统 实验五:动态分区分配方式的模拟

1 .实验目的 了解动态分区分配方式中使用的数据结构和分配算法,并进一步加深对动态分区存储管理方式及其实现过程的理解。 2 .实验内容 (1)用C 语言分别实现采用首次适应算法(地址从小到大)和最佳适应算法(空闲块大小从小到大)的动态分区分配过程myalloc() 和回收过程myfree()...

2019-06-04 13:54:10

阅读数 1491

评论数 1

原创 计算机操作系统 实验四:进程通信(二)

1 .实验目的 学习如何利用消息缓冲队列进行进程间的通信,并加深对消息缓冲队列通信机制的理解。 2 .实验内容 (1) 了解系统调用msgget()、msgsnd()、msgrcv()、msgctl()的功能和实现过程。 (2) 编写一段程序,使其用消息缓冲队列来实现父进程和子进程之间的通...

2019-06-04 13:30:49

阅读数 762

评论数 0

原创 计算机操作系统 实验三:进程通信(一)

1 .实验目的 学习如何利用管道机制、共享存储区机制进行进程间的通信,并加深对上述通信机制的理解。 2 .实验内容 (1) 了解系统调用pipe()、shmget()、shmat()、shmdt()、shmctl()的功能和实现过程。 (2) 编写一段程序,使其用管道来实现父子进程之间的进...

2019-06-04 13:25:27

阅读数 1569

评论数 0

原创 计算机操作系统 实验二:进程的控制

1 .实验目的 通过进程的创建、撤消和运行加深对进程概念和进程并发执行的理解,明确进程与程序之间的区别。 2 .实验内容 (1) 了解系统调用fork()、execvp()和wait()的功能和实现过程。 (2) 编写一段程序,使用系统调用fork()来创建两个子进程,并由父进程重复显示字...

2019-06-04 13:14:30

阅读数 426

评论数 0

原创 计算机操作系统 实验一:进程观测

1.实验目的: (1)了解在Linux操作系统中进程的特点和表现形式 (2)掌握Linux查看进程的方式与方法 (3)在一个进程中创建另一个进程的方法 (4)掌握父进程和子进程的关系和fork的用法 2.实验内容: (1)编写一个简单的程序,使用ps或top工具观察该进程的的ID号...

2019-06-04 12:58:28

阅读数 114

评论数 0

原创 Mysql-5.7.24和Hive-2.3.0的安装

实验环境: centos7 Mysql-5.7.24 使用yum源下载 hive-2.3.0 只需要在主节点完成即可 一、安装mysql 1.下载yum源 首先查看本机是否有自带数据库,如果有先卸载自带数据库 rpm -qa |grep mysql rpm -qa|grep ...

2019-06-03 14:11:37

阅读数 92

评论数 0

原创 使用Shell脚本简化jps,zookeeper,kafka,storm的开启和关闭

1.调用所有节点的jps指令 #!/bin/bash #输出提示信息 echo "start jps-all.sh..." #设置映射集合 hosts="master node1 node2 node3" #循环连接,执行脚本 for host in $...

2019-06-03 13:40:12

阅读数 160

评论数 0

原创 Zookeeper-3.4.10和HBase-1.3.0的安装

实验环境: centos7,共四台虚拟机,对应关系如下: master 192.168.159.101 hbase主节点 node1 192.168.159.102 hbase子节点 zookeeper node2 192.168.159.103 hbase子节点 zookeeper n...

2019-06-03 13:11:49

阅读数 188

评论数 0

原创 Hadoop-2.7.3完全分布式集群搭建(Centos7系统)

实验环境Centos7 使用Hadoop2.7.3和jdk1.8搭建4个结点的完全分布式,一个namenode,3个datanode 192.168.159.101 master 192.168.159.102 node1 192.168.159.103 node2 192.168.15...

2019-06-03 09:13:52

阅读数 594

评论数 0

原创 MongoDB查询语句

MongoDB查询语句 首先通过循环插入一些测试数据 向test集合中插入10条记录 for(var i=1; i<=10; i++) db.test.insert({name:“user”+i,age:15+i}) 1.查询test集合中所有记录 db.test.find()...

2019-06-02 21:50:31

阅读数 949

评论数 0

提示
确定要删除当前文章?
取消 删除