hadoop
小米吃辣椒2022
本人毕业于湖北工业大学,目前已有7年的工作经验,先后涉猎于电商,农业大数据,智慧停车,城市智慧大脑,公安指挥调度,海康云商电商平台,智慧物流等软件开发行业,目前就职于稳健医疗java全栈工程师岗位,负责智慧物流产品百台服务器核心架构设计及研发工作,对多线程,高并发,架构设计,应用虚拟容器,微服务,数据库中间件,消息中间件以及大数据生态圈,web前端技术有丰富的认知和开发经验。
展开
-
《进击大数据》系列教程之YARN篇
一、yarn 简介分布式集群的计算资源管理,包括对内存以及cpu的管理,也是符合主从结构,主ResourceManager 负责集群资源的调控,负责单个服务器上资源的管理。二、yarn的安装三、分布式计算概述四、yarn的资源调度机制五、yarn Capacity Scheduler 配置yarn application -list 查看当前正在执行的任务列表...原创 2020-12-30 13:46:24 · 447 阅读 · 0 评论 -
《进击大数据》系列教程之MapReduce篇
一、MapReduce 安装(1)分布式计算概述访问 master:8088 查看yarn 是否启动成功。(2)验证mapreduce 是否安装成功运行 hadoop 安装包中 自带的 mapreduce 正则匹配例子。看到控制台有如下输出说明mapReduce 任务正在运行中,同时可以在yarn 监控界面上看到任务执行记录二、hadoop 序列化机制使用 hadoop 的 writeable 接口 实现序列化<dependency> ..原创 2020-12-25 18:18:44 · 595 阅读 · 0 评论 -
《进击大数据》系列教程之hdfs常用操作命令
一、HDFS常用操作命令查看根目录下的文件hadoop fs -ls hdfs://master:9999/ 或hadoop fs -ls /hadoop fs -ls -h hdfs://master:9999/ 或hadoop fs -ls -h / 增加-h参数,使文件大小可读,-d 只显示目录 -R 递归显示目录及文件创建目录hadoop fs -mkdir hdfs://master:9999/user 或hadoop fs...原创 2020-12-23 19:23:15 · 377 阅读 · 0 评论 -
《进击大数据》系列教程之hadoop搭建HA高可用集群
一、HDFS HA 集群规划原创 2020-12-21 17:09:34 · 281 阅读 · 1 评论 -
《进击大数据》系列教程之hadoop大数据基础
前言时隔一年多,忙忙碌碌一直在做java web端的业务开发,大数据基本忘的差不多了,此次出一个大数据系列教程博文将其捡起。hadoop,hdfs的下载安装以及启动,停止在这里就不一一介绍了,不会的可以查看我的历史博客。默认我们已经搭建好了一个三节点的主从hadoop节点,一个master,两个salve一、使用http的方式访问hdfs在hdfs-site.xml中增加如下配置,然后重启hdfs:<property><name>dfs.webhdfs.原创 2020-12-18 16:28:36 · 197 阅读 · 0 评论 -
hadoop 集群搭建(详细)
hadoop 集群搭建一 、 前提准备安装 jdk8,配置环境变量 在 /etc/profile 中 或者 ~/.bash_profile 中都可以export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64export HADOOP_HOME=/opt/hadoop-2.6.0-c...原创 2018-12-07 10:31:28 · 1055 阅读 · 0 评论