![](https://img-blog.csdnimg.cn/ac04a7625cd042b0bd7a2bb6985c2ac3.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 74
Hadoop
ChenJieYaYa
这个作者很懒,什么都没留下…
展开
-
MapReduce项目案例4——乘用车辆和商用车辆销售数据分析
需求分析👇👇原创 2022-06-27 16:41:05 · 5358 阅读 · 13 评论 -
MapReduce项目案例3——温度统计
MapReduce项目案例3——温度统计原创 2022-06-27 16:25:00 · 598 阅读 · 0 评论 -
MapReduce项目案例1
MapReduce项目案例1原创 2022-06-27 16:02:39 · 328 阅读 · 0 评论 -
MapReduce开发
mapreduce原创 2022-06-18 22:06:12 · 275 阅读 · 1 评论 -
MapReduce理论
工作流程原创 2022-06-19 10:39:13 · 410 阅读 · 0 评论 -
Yarn(资源调度)
3.修改yarn-site.xml修改配置文件:vim yarn-site.xml4.检测yarn是否配置成功启动start-yarn.sh,发现node1的进程jps上新增ResourseManager,且node234上则新增NodeManager查看Web:http://node1:8088/5.配置成功此处只配置了一个RM,通过HDFS的学习我们直到一个NN会出现单点故障,所以一个RM也会存在,接下来为RM配置HARM的HA配置1.原理...原创 2022-06-18 21:15:45 · 261 阅读 · 0 评论 -
HDFS总结
HDFS将大规模的数据以分布式的方式均匀存储在集群中的各个服务器上,然后分布式并行计算框架MR利用各个数据节点DN的本地计算资源在本地服务器上对大规模数据集的一个子集数据进行计算HDFS具有高容错、高可靠性、高可扩展性、高吞吐率等特征, 适合一次写入多次读取的场景2.HDFS的优势流式数据访问模式处理非结构化数据,其他数据Hadoop都支持处理超大文件,PB级别运行于廉价的商用集群发生故障时能继续运行而不被用户察觉3.HDFS的局限不适合处理低延迟数据访问原创 2022-06-16 11:58:33 · 489 阅读 · 0 评论 -
HDFS之高可用HA
NN压力过大,且内存受限,影响系统扩展性此时需要改善集群环境–高可用2.HA机制基本思想是集群中接入两个NN,一个宕机,另一个接管服务但是这样做又会带来新问题,如下HA高可用1.防止脑裂脑裂指HDFS是主从架构,主节点只有一个,从节点DN有多个,此时集群中有两个NN,那么这两个NN会争抢集群共享资源,导致系统紊乱,数据损坏解决脑裂4.安装ZK官网下载ZK压缩包zookeeper.apache.org压缩包上传到/usr/local解压:tar -xvf zookee原创 2022-06-14 22:23:08 · 343 阅读 · 0 评论 -
HDFS配置之NN-SNN-DN
hadoop原创 2022-06-07 18:16:18 · 535 阅读 · 0 评论 -
HDFS与Java
hdfsapi原创 2022-06-14 22:59:33 · 234 阅读 · 0 评论 -
HDFS命令
hdfs内部进行文件移动:hdfs dfs -mv /hdfs文件1 /hdfs文件24.上传文件本地文件放到hdfs某个目录:hdfs dfs -put /本地文件/ /hdfs目录/5.下载文件将hdfs文件下载到linux本地6.文件内容如果数据量比较大,不能使用查看hello.txt文件内容:hdfs dfs -cat /test/hello.txt查看文件末尾,一直等待查看:hdfs dfs -tail -f /path查看文件的大小:hdfs dfs -du原创 2022-06-11 20:18:46 · 1746 阅读 · 1 评论 -
HDFS(数据存储)
NameNode启动后将元信息加载到内存,磁盘文件名为fsimage,快的位置信息不会保存到fsimage,而由DataNode启动时主动上报给NameNode,edit记录操作日志一个集群中有且只有一台NameNode处于active状态3.SecondNameNodeSecondNameNode是NameNode的备份,但主要任务是合并NameNode的fsimage和edit logs,减少NameNode启动时间SNN的合并时机可以通过配置文件设置的时间间隔(fs.checkpoint.原创 2022-06-11 17:46:11 · 11044 阅读 · 0 评论 -
Hadoop入门
hadoop基础原创 2022-06-09 23:20:44 · 451 阅读 · 0 评论 -
Hadoop生态圈
hadoop生态圈原创 2022-06-09 18:35:00 · 624 阅读 · 1 评论