- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大数据架构模式lambda和kappa的对比
一. lambda架构如图所示，将收集到的数据通过kafka和flume等传递到计算层；数据存储在hdfs或者redis等组件中；计算部分分为两种，实时计算和离线计算；实时计算有storm,flink,storm streaming和flink stream；离线部分包括hive和spark sql等数据计算完之后，存储到组件中;其它业务可以从这里拉取计算结果优势（1）经过多年发展...
2019-12-07 22:23:54
1652
原创 lambda架构和kappa架构的对比
1. lambda架构1.1. 优点Lambda 架构使开发人员能够构建大规模分布式数据处理系统。它具有很好的灵活性和可扩展性，也对硬件故障和人为失误有很好的容错性。Lambda 架构总共由三层系统组成：批处理层（Batch Layer），速度处理层（Speed Layer），以及用于响应查询的服务层（Serving Layer）。在 Lambda 架构中，每层都有自己所肩负的任务。批...
2019-12-01 12:22:15
2857
原创 Hadoop伪分布式部署
前言： 这一块的部署太难了，虽然有大师提前指点，提前帮我避开一些坑，但在部署过程中还是很多意想不到的情况，现在就先描述一下本人的安装过程。1 安装JDKscp ~/jdk-8u231-linux-x64.tar.gz *****@*****:~/jar/ //将下载好的JDK复制到服务器上sudo vim /etc/profile.d/java-path.sh //配置java的...
2019-11-18 01:39:16
113
原创 MySQL安装与SQL基础
1. 软件环境（1）tableplus（2）linux虚拟机安装过程（1）在虚拟机上安装MySQL首先是四个shell命令 wget https://dev.mysql.com/get/mysql-apt-config_0.8.13-1_all.deb sudo dpkg -i mysql-apt-config_0.8.13-1_all.deb sudo apt updates...
2019-11-12 02:11:50
117
原创 Spark WordCount在IDEA中开发运行实战
1. 环境准备（1）运行在java编程的IEDA软件上（2）新建好gradle工程后，在build.gradle文件下新增两行代码compile group: 'org.apache.spark', name: 'spark-core_2.12', version: '2.4.4'compile group: 'org.apache.spark', name: 'spark-sql_2.1...
2019-11-04 00:05:11
266
原创 linux常见命令
linux常用命令查看进程ps -aux | grep ***查询***进程的进程号ifconfig查询ip地址tar zcvf 压缩后的文件名 被压缩的文件名tar zxvf 被解压的文件名 （-C 指定目录）vim命令基本操作(1) vim 文件名 ：进入一般模式（不能输入）(2) 按...
2019-10-29 22:18:35
88
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人