大数据学习整理
文章平均质量分 74
大数据学习整理
6个日的梦想
爱好
展开
-
大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比
海豚调度出来的有点迟,它把我们之前讲的 Oozie、Azkaban、airflow的优点全拿过来了,后发优势,集万千优点于一身,缺点也避免了。过载处理:airflow 任务过多时卡死服务器,DolphinScheduler任务队列机制,当任务过多时会缓存在任务队列中。Azkaban:最适合shell脚本,当job不多的时候,可以使用。海豚调度的多租户和我们YARN的多租户是对应起来的,这个非常好。离线:用的Spark比较多,实时用 Flink比较多。推荐海豚DolphinScheduler任务器~~~~原创 2023-03-22 09:11:52 · 3747 阅读 · 0 评论 -
大数据-2 部署Java/Hadoop环境并集群分发/免密
大数据-2 部署Java/Hadoop环境并集群分发原创 2023-03-17 12:15:23 · 602 阅读 · 0 评论 -
大数据-1 配置大数据开发集群初始环境
大数据实时、离线项目搭建和应用原创 2023-03-17 10:59:21 · 325 阅读 · 0 评论 -
Hive与HBase的区别及应用场景
Hive和Hbase的区别原创 2023-03-05 13:42:34 · 2852 阅读 · 0 评论 -
VMware搭建CentOS,使用普通用户切换ROOt登入
1.想要使用VMware搭建CentOs(Lunix)的朋友,可以评论给邮箱,我把文件+操作发你。进入系统初始是Hadoop用户,我们要切换Root用户1.如果你的用户在sudoers file中可以下面设置Root密码sudo passwd root 回车(输入密码,但不会在屏幕显示出*)(再输入一次密码)然后 root 登陆2.如果报错hadoop is not in the sudoers ...原创 2018-04-10 17:01:47 · 6999 阅读 · 4 评论 -
Linux系统下安装jdk,mysql,tomcat,并部署javawenb项目
第一步:前期准备,在一切工作之前,我们需要4个文件。linux下的jdk,mysql,tomcat,及SSH Secure 用于远程控制linux系统。 主要安装配置使用:1.ssh secure的安装使用,2jdk的安装配置,3mysql的安装配置,及本机windows连接linux下的mysql,4安装tomcat,5。最后部署一个项目在linux中tomcat下,最终在windows...原创 2018-04-16 10:58:53 · 439 阅读 · 0 评论