![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
程序员
文章平均质量分 86
普通网友
这个作者很懒,什么都没留下…
展开
-
Hadoop之HDFS——【模块一】元数据架构_元数据hdfs,2024年最新详解大数据开发架构进阶面试题
T行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**原创 2024-04-13 08:07:12 · 810 阅读 · 0 评论 -
Hadoop之Ha高可用搭建教程_启动hadoop高可用集群,大数据开发系统开发面试题
服务的逻辑名称,使用mycluster替换master:9000作为逻辑名称。(img-ZIPbOpNs-1712966693956)]通过SSH连接到Active NameNode并终止进程。存放namenode、datanode数据的根路径。列出运行 ZooKeeper 服务的主机端口对。存放journalnode数据的地址。两个namenode的rpc通信地址。hdfs分布式文件系统名字/地址。两个namenode的名称。切换namenode代理类。启动自动故障转移机制。原创 2024-04-13 08:06:09 · 802 阅读 · 0 评论 -
Hadoop、Spark 和大数据处理_数据清洗,spark,nosql,hadoop能干什么
Hadoop 生态系统包含多个组件,每个组件都有不同的功能。:用于存储大规模数据的分布式文件系统。它将数据分成块并在集群中的多个节点上进行存储。MapReduce:分布式计算框架,用于处理大规模数据集。它将任务分为 Map 阶段和 Reduce 阶段,适合离线数据处理。:资源管理器,负责集群资源的分配和调度。Hive:基于 Hadoop 的数据仓库工具,用于查询和分析大规模数据。Pig:高级脚本语言,用于数据分析和转换。HBase:分布式 NoSQL 数据库,适用于实时读写大量数据。Spark。原创 2024-04-13 08:05:38 · 980 阅读 · 0 评论 -
HadoopHA模式(由于Hadoop的HA模式是在Hadoop完全分布式基础上,利用zookeeper等协调工具配置的高可用的Hadoop集群模式)_hadoop ha(2)
HadoopHA模式搭建规划| 主机名 | IP地址 | 相关进程 || master | 根据自己的 | NameNode,DataNode, DFSZKFailoverController, QuorumPeerMain,JournalNode, ResourceManager,NodeMananger |原创 2024-04-13 08:04:35 · 641 阅读 · 0 评论 -
HadoopHA模式(由于Hadoop的HA模式是在Hadoop完全分布式基础上,利用zookeeper等协调工具配置的高可用的Hadoop集群模式)_hadoop ha(1)
HadoopHA模式搭建规划| 主机名 | IP地址 | 相关进程 || master | 根据自己的 | NameNode,DataNode, DFSZKFailoverController, QuorumPeerMain,JournalNode, ResourceManager,NodeMananger |原创 2024-04-13 08:04:04 · 760 阅读 · 0 评论 -
hadoop3分布式基本部署_hadoop3 双namenode 部署,大数据开发面试八股文
4)4个配置文件,core-site.xml,hdfs-site.xml.mapreduce-site.xml,yarn-site.xml。(5)将master中的配置文件/etc/profile和java解压文件传输到slave1,slave2中。(2)配置hadoop环境变量/etc/profile,并source应用配置。(5)将hadoop文件分发到slave1,slave2。全局环境变量配置文件位置:/etc/profile。如:master,slave1,slave2等。原创 2024-04-13 08:03:01 · 757 阅读 · 0 评论 -
hadoop3分布式基本部署_hadoop3 双namenode 部署(2),2024年最新啃下这些Framework技术笔记
4)4个配置文件,core-site.xml,hdfs-site.xml.mapreduce-site.xml,yarn-site.xml。命令:tar -zxvf /opt/jdk-8u11-linux-x64.tar.gz -C /app。(5)将master中的配置文件/etc/profile和java解压文件传输到slave1,slave2中。(2)配置hadoop环境变量/etc/profile,并source应用配置。如:mv jdk-8u11-linux-x64 jdk1.8。原创 2024-04-13 08:02:29 · 808 阅读 · 0 评论 -
Hadoop3(1),大数据开发初级面试题2024
执行结果如下:4.虚拟机关机,克隆虚拟机创建bigdata02、bigdata03节点:同样的方式创建bigdata03节点这里不再进行演示。修改完成后需要重启虚拟机。6.三个节点设置静态ip(之前博客有发这里不再进行演示)。在文件底部作出如下配置:执行结果如下:准备完毕!原创 2024-04-13 08:01:26 · 156 阅读 · 0 评论 -
hadoop-3,靠着这份面试题跟答案
``原创 2024-04-13 08:00:55 · 137 阅读 · 0 评论 -
hadoop-3(1),2024年最新为什么大公司一定要使用微服务
实战项目、讲解视频,并且后续会持续更新**原创 2024-04-13 07:59:52 · 292 阅读 · 0 评论 -
Hadoop+Spark大数据技术(微课版)曾国荪、曹洁版思维导图第一章 Hadoop大数据开发环境(整理复习自用
【代码】Hadoop+Spark大数据技术(微课版)曾国荪、曹洁版思维导图第一章 Hadoop大数据开发环境(整理复习自用。原创 2024-04-13 07:59:21 · 261 阅读 · 0 评论 -
hadoop(1) 搭建伪分布式,2024年最新你头秃都没想到还能这样吧
设置副本数量为1,并设置hdfs的web访问地址为localhost的50070端口。#在/etc/hosts下添加一行,192.168.132.101改成对应服务器ip。#在文件/etc/sudoers的root ALL=(ALL) ALL下添加一行。#修改并添加namenode启动ip为localhost,端口为9000。#设置硬件时间,正常修改时区就够了,如有需要,可以定一个固定的时间。#编辑/etc/profile文件。#编辑/etc/profile文件。#修改sudoers文件权限。原创 2024-04-13 07:58:18 · 517 阅读 · 0 评论 -
hadoop 常用命令,2024年最新终于搞明白了
datanode 使用率占满&配置容量显示为0的问题【DFS Used%: 100.00% & Configured Capacity: 0 (0 B)】尝试多种方法、最终原因是 slave 中配置的 datanode 节点 hostname 配置成了 localhost 而导致的问题。vi salve 把配置的 datanode 主机名配置为 hadoop01 后,重启 datanode 服务,问题就解决了。– load后会在配置文件决定的固定目录下产生一个表名对应的目录,目录下为对应的数据文件。原创 2024-04-13 07:57:47 · 566 阅读 · 0 评论 -
Hadoop 3,最新大数据开发面试题整理
Hadoop 集群包括两个集群:HDFS 集群、YARN 集群。两个集群逻辑上分离、通常物理上在一起;两个集群都是标准的主从架构集群。逻辑上分离两个集群互相之间没有依赖、互不影响物理上在一起某些角色进程往往部署在同一台物理服务器上MapReduce 集群呢?MapReduce 是计算框架、代码层面的组件,没有集群之说。原创 2024-04-13 07:56:44 · 924 阅读 · 0 评论 -
grafana+prometheus+hiveserver2(jmx_exporter+metrics)_grafana hiveserver2
],“refresh”: “10s”,“schemaVersion”: 16,“style”: “dark”,“tags”: [“JVM”],“templating”: {“list”: [{“current”: {“text”: “prometheus”,“value”: “prometheus”},“hide”: 0,“label”: null,“name”: “datasource”,“options”: [],“query”: “prometheus”,“ref原创 2024-04-13 07:56:13 · 1017 阅读 · 0 评论 -
Android-View源码解读:浅谈DecorView与ViewRootImpl
如果你觉得文章写得不错就给个赞呗?如果你觉得那里值得改进的,请给我留言。一定会认真查询,修正不足。,第一时间获取最新知识点自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。深知大多数Android工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!原创 2024-04-11 01:59:32 · 251 阅读 · 0 评论 -
Android-Studio-教程:入门开发第一个程序,腾讯字节阿里小米京东大厂Offer拿到手软
这个区域主要是工程文件资源等相关的操作。1、展示项目中文件的组织方式,默认是以Android方式展示的,可选择“Project、Packages、Scratches、ProjectFiles、Problems…”等展示方式。平时用的最多的就Android和Project两种。2、定位当前打开文件在工程目录中的位置。3、关闭工程目录中所有的展开项。原创 2024-04-11 01:58:29 · 518 阅读 · 0 评论 -
Android-Studio-教程:入门开发第一个程序(1)
这个区域是运行和调试相关的操作。1、编译2中显示的模块2、当前项目的模块列表3、运行2中显示的模块4、调试2中显示的模块5、测试2中显示的模块代码覆盖率6、调试安卓运行的进程7、重新运行2中显示的模块8、停止运行2中显示的模块这个区域主要是和Android设备和虚拟机相关的操作。1、虚拟设备管理。2、同步工程的Gradle文件,一般在Gradle配置被修改的时候需要同步一下。3 、项目结构,一些项目相关的属性配置。4、Android SDK管理。原创 2024-04-11 01:57:58 · 302 阅读 · 0 评论 -
Android-Rxjava-:最简单&全面背压讲解-(Flowable)
相信大多数从事Android开发的朋友们越来越发现,找工作越来越难了,面试的要求越来越高了除了基础扎实的java知识,数据结构算法,设计模式还要求会底层源码,NDK技术,性能调优,还有会些小程序和跨平台,比如说flutter,以思维脑图的方式展示在下图;一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!原创 2024-04-11 01:57:27 · 248 阅读 · 0 评论 -
Android-Kotlin:小白都能看懂的—KT泛型入门教程
现在都说互联网寒冬,其实无非就是你上错了车,且穿的少(技能),要是你上对车,自身技术能力够强,公司换掉的代价大,怎么可能会被裁掉,都是淘汰末端的业务Curd而已!现如今市场上初级程序员泛滥,这套教程针对Android开发工程师1-6年的人员、正处于瓶颈期,想要年后突破自己涨薪的,进阶Android中高级、架构师对你更是如鱼得水!为什么某些人会一直比你优秀,是因为他本身就很优秀还一直在持续努力变得更优秀,而你是不是还在满足于现状内心在窃喜!Android架构师之路很漫长,一起共勉吧!原创 2024-04-11 01:56:56 · 350 阅读 · 0 评论 -
Android-Kotlin-单例模式,2024年最新网易android面试题
找工作是个很辛苦的事情,而且一般周期都比较长,有时候既看个人技术,也看运气。第一次找工作,最后的结果虽然不尽如人意,不过收获远比offer大。接下来就是针对自己的不足,好好努力了。最后为了节约大家的时间,我把我学习所用的资料和面试遇到的问题和答案都整理成了PDF文档一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!的问题和答案都整理成了PDF文档。原创 2024-04-11 01:56:25 · 362 阅读 · 0 评论 -
Android-Kotlin-When&类型推断,b站面试题目
说一千道一万,不如自己去行动。要想在移动互联网的下半场是自己占有一席之地,那就得从现在开始,从今天开始,马上严格要求自己,既重视业务实现能力,也重视基础和原理。基础夯实好了,高楼才能够平地而起,稳如泰山。最后为了帮助大家深刻理解Android相关知识点的原理以及面试相关知识,这里放上相关的我搜集整理的24套腾讯、字节跳动、阿里、百度2020-2021面试真题解析,我把技术点整理成了视频和PDF(实际上比预期多花了不少精力),包知识脉络 + 诸多细节。还有。原创 2024-04-11 01:55:53 · 390 阅读 · 0 评论 -
Android-Kotlin-Activity直接的跳转,2024年最新安卓计算器界面
/ 定义tab变量为String类型的,注意:此String是Kotlin的) {Thread(){run {})}.start()/***//***/第二个Activity,Main2Activity:) {原创 2024-04-11 01:55:23 · 467 阅读 · 0 评论 -
Android-Jetpack又叒叕更新啦!!新的类库以及现有类库重大更新!
文章会持续更新的。绝对干货!!!Android进阶学习全套手册关于实战,我想每一个做开发的都有话要说,对于小白而言,缺乏实战经验是通病,那么除了在实际工作过程当中,我们如何去更了解实战方面的内容呢?实际上,我们很有必要去看一些实战相关的电子书。原创 2024-04-11 01:54:53 · 242 阅读 · 0 评论 -
Android-Framework:Binder全解析(四)这篇看完还不寄刀片就没有机会了
找到一套好的视频资料,紧跟大牛梳理好的知识框架进行学习。多练。(视频优势是互动感强,容易集中注意力)你不需要是天才,也不需要具备强悍的天赋,只要做到这两点,短期内成功的概率是非常高的。对于很多初中级Android工程师而言,想要提升技能,往往是自己摸索成长,不成体系的学习效果低效漫长且无助。原创 2024-04-11 01:54:21 · 239 阅读 · 0 评论 -
Android-Framework:Binder全解析(三)这篇看完还不懂
现在都说互联网寒冬,其实无非就是你上错了车,且穿的少(技能),要是你上对车,自身技术能力够强,公司换掉的代价大,怎么可能会被裁掉,都是淘汰末端的业务Curd而已!现如今市场上初级程序员泛滥,这套教程针对Android开发工程师1-6年的人员、正处于瓶颈期,想要年后突破自己涨薪的,进阶Android中高级、架构师对你更是如鱼得水!为什么某些人会一直比你优秀,是因为他本身就很优秀还一直在持续努力变得更优秀,而你是不是还在满足于现状内心在窃喜!Android架构师之路很漫长,一起共勉吧!原创 2024-04-11 01:53:51 · 247 阅读 · 0 评论 -
Android-Framework:Binder全解析(一)这篇看完还不懂
用一张图来总结一下吧服务注册过程(addService)核心功能:在服务所在进程创建binder_node,在servicemanager进程创建binder_ref。要注意,此时要注册的进程也就是服务进程是Client端,而ServiceManager是server端。每个进程binder_proc所记录的binder_ref的handle值是从1开始递增的;因为所有进程binder_proc所记录的handle=0的binder_ref都指向service manager;原创 2024-04-11 01:53:19 · 267 阅读 · 0 评论 -
Android-Framework学习笔记(二)Zygote进程启动过程
跳槽季整理面试题已经成了我多年的习惯!在这里我和身边一些朋友特意整理了一份快速进阶为Android高级工程师的系统且全面的学习资料。涵盖了Android初级——Android高级架构师进阶必备的一些学习技能。附上:我们之前因为秋招收集的二十套一二线互联网公司Android面试真题(含BAT、小米、华为、美团、滴滴)和我自己整理Android复习笔记(包含Android基础知识点、Android扩展知识点、Android源码解析、设计模式汇总、Gradle知识点、常见算法题汇总。原创 2024-04-11 01:52:49 · 338 阅读 · 0 评论 -
Android-App-启动优化全记录,哔哩哔哩面试题目
右边的部分,可以看到我们其实在启动的时候,首先会去加载一些必要的启动项,必要的启动项是左边流程,会用一个多进程的方式加载,以来有向无环图进行控制,比如说我是在非必须的时候启动加载我可以放在后面再去加载。部分应用启动的时候,需要大量的内存,比如现在的相机启动,这时候如果没有足够的内存,那么系统必须要通过杀掉很多应用、释放 Cache 等操作来给这个 App 让路,这个过程会使得这些大内存的 App 在启动的时候频繁进行内存操作,导致启动速度变慢。但是部分 App 由于广告页的需求,会使用第二种流程;原创 2024-04-11 01:52:19 · 645 阅读 · 0 评论