大数据运维
文章平均质量分 60
半_调_子
因为热爱
展开
-
zookeeper -- 大数据面试
第一章 zookeeper入门zookeeper是一个开源的分布式,为分布式应用提供协调服务的apache项目,zookeepr的工作机制zookee原创 2021-06-13 00:54:05 · 340 阅读 · 0 评论 -
hadoop平台编译安装
https://support.huaweicloud.com/prtg-hdp-kunpengbds/kunpenghadoophdp_02_0021.html原创 2021-05-13 20:10:12 · 173 阅读 · 0 评论 -
hadoop面试题
1、当前大数据技术的基础是由( C)首先提出的。(单选题,本题2分)A:微软B:百度C:谷歌D:阿里巴巴2、大数据的起源是(C)。(单选题,本题2分)A:金融B:电信C:互联网D:公共管理3、根据不同的业务需求来建立数据模型,抽取最有意义的向量,决定选取哪种方法的数据分析角色人员是(C)。(单选题,本题2分)A:数据管理人员B:数据分析员C:研究科学家D:软件开发工程师4、(D)反映数据的精细化程度,越细化的数据,价值越高。(单选题,本题2分)A:规模B:活性C:关联度D:颗粒度5、数据清洗...原创 2021-03-07 22:45:58 · 3376 阅读 · 0 评论 -
Ambari编译
cloudera manager 再无社区版hadoop hdp不再更改 ,纪念一下失去的青春1.1 环境搭建jdk1.8.0_161apache-maven-3.5.3CentOS 7.4.17081.2 JDK、Maven安装[root@localhost java]# cat /etc/centos-releaseCentOS Linux release 7.4.1708 (Core)[root@localhost java]# java -versionjava version原创 2020-12-25 22:54:29 · 548 阅读 · 0 评论 -
spark 两种yarn布署模式,到底用哪种呢
节点数很多,采用spark-cluster,这样可以资源均衡。appmanager和nodemanger不在同一网段,采用spark-cluster模式,减少网络延迟。节点数少,又在同一网段,client模式和cluster模式,都是可以的。就算正式环境采用了spark-cluster模式,在刚上线时也要采用spark-client模式,这样可以获取信息,都没有问题了,稳定了,在切换到spark-cluster模式。...原创 2020-08-12 14:56:59 · 231 阅读 · 0 评论 -
B站好的大数据视频
B站最全的大数据学习汇总呦,喜欢的赶紧收藏学习吧大数据-八天零基础入门 BV11z411e7nT https://www.bilibili.com/video/bv11z411e7nT/?spm_id_from=333.788.b_636f6d6d656e74.31大数据必会的-15天学会JavaSE BV11z411e7nT https://www.bilibili.com/video/bv1JT4y1g7nM/?spm_id_from=333.788.b_636f6d6d656e74.32大..原创 2020-08-04 16:46:50 · 1599 阅读 · 0 评论 -
hadoop的英文书
Mastering Hadoop 3Big Data Analytics with Hadoop 3Apache Hadoop 3 Quick Start GuideHands-On-Beginner-s-Guide-on-Big-Data-and-Hadoop-3Hands-on-Big-Data-Processing-with-Hadoop-3pro-apache-hadooppro-hadoop-data-analyticspro-hadooppractical-hadoop-mig.原创 2020-05-26 20:36:17 · 371 阅读 · 0 评论 -
Hadoop 文档官方版本 (1)
apache hadoop 3.2.1Apache Hadoop 3.2.1在以前的主要发行版本(hadoop-3.2)上进行了许多重大改进。该版本普遍可用(GA),这意味着它代表了我们认为已经可以投入生产的API稳定性和质量。总览鼓励用户阅读全套发行说明。此页面概述了主要更改。YARN中的节点属性支持节点属性有助于根据节点的属性在节点上标记多个标签,并支持基于这些标签的表达来放置容器。YARN上的HadoopSubmarineHadoop Submarine使数据工程师可以在..原创 2020-05-25 09:52:33 · 266 阅读 · 0 评论 -
Hadoop 文档官方版本 (2)--- hadoop 单节点安装
目的本文档介绍了如何设置和配置单节点Hadoop安装,以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统(HDFS)快速执行简单的操作。先决条件支持平台支持GNU / Linux作为开发和生产平台。 Hadoop在具有2000个节点的GNU / Linux集群上得到了证明。Windows也是受支持的平台,但是以下步骤仅适用于Linux。 要在Windows上设置Hadoop,请参见Wiki页面https://cwiki.apache.org/confluence原创 2020-05-25 16:21:29 · 497 阅读 · 0 评论 -
Hadoop 文档官方版本(0)
目前:大家玩大数据一般都是从 cdh或 hdp开始玩的,从集成环境好处多多,但是真正要掌握集群环境。手动整一把是必须的。本栏将从hadoop的官方文档开始为大家剖析hadoop ,及一个hadoop平台管理员应该掌握什么东西做一一解析。hadoop 的官方文档主要包括以下内容:总览-----------------------------------------------------------------------单节点设置集群设置命令参考文件系统外壳兼容性要求下游开发...原创 2020-05-25 09:45:51 · 459 阅读 · 0 评论 -
重要资料收集
http://www.sic.gov.cn/Column/572/0.htm原创 2020-05-19 15:53:01 · 226 阅读 · 0 评论 -
hadoop书对应关系
https://www.doc88.com/p-7136380068799.htmlhttps://github.com/Apress/practical-hadoop-security原创 2020-04-26 08:54:38 · 371 阅读 · 0 评论 -
grub恢复操作系统
在Linux有可能存在/boot分区被修改或者配置文件丢失,导致无法正常启动系统。这时候就需要使用grub2的命令模式手动启动系统或者iso文件进行修复。第一步:使用grub2进行启动第二步:grub> ls -l (通过ls -l 来一个分区找对应的内核启动文件)grub> insmod xfsgrub> set root=(hd0,msdos1) (这里...原创 2020-04-07 08:55:23 · 2234 阅读 · 0 评论 -
企业级hadoop管理(1)
第一部分:介绍hadoop集群架构此部分共分为如下两部分:第一章:介绍hadoop及其环境介始欢迎来到管理hadoop的课程。hadoop在处理大数据处于领先地,被称为大数据hadoop。hadoop是一个开源的项目,大约在2005年推出。hadoop已成为使用并行处理算法和简单数据处理模型来处理大量数据的事实上的标准,这些模型是高效计算和可靠计算体系结构的基础。Hadoop的设计...原创 2020-03-12 17:33:57 · 282 阅读 · 0 评论