- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MapReduce jobhistory
jobhistory： 记录已运行完的MapReduce信息到指定的HDFS目录下 默认不开启 配置： etc/hadoop/mapred-site.xml加入 <property><name>mapreduce.jobhistory.address</name><value>master:10020</...
2018-02-28 17:02:00
1564
原创 MapReduce Partitioner 二次分类
Partitioner： 二次分类，我的理解是：如果不加Partitioner组件，Reduce会将输入的所有类型数据整合在一个文件，如果加了，可以让reduce根据类型再做一次分类，分出多个Reduce，输出多个文件 图： 代码：/** * 自定义的Partitioner * 二次分类 */ public static class...
2018-02-28 16:36:00
149
原创 MapReduce提交作业
步骤：1、开发作业2、编译项目并打成jar包，上传至HDFS3、使用命令（脚本）启动作业 Java代码：/** * 检索关键词出现的次数 */public class MapReduceUtils { /** * diver * * @param a [0]要解析的文件全路径 * [1]输出存放的路径...
2018-02-28 15:48:00
666
原创 MapReduce简述、工作流程
MR编程模型之执行步骤： 1、准备map处理的输入数据 2、mapper处理 3、Shuffle 4、Reduce处理 5、结果输出(input)<k1,v1> -> map -><k2,v2> -> combine -> <k2,v2> ->reduce -> <k3,v3>(o
2018-02-28 15:03:00
32475
原创 YARN 提交作业
提交MR作业到YARN运行shell命令： hadoop jar （jar包） （处理类） （参数，如果有） 例如：hadoop jar xxxx.jar pi 2 3 ...
2018-02-28 10:45:00
580
原创 YARN 环境准备、启动
1、配置：<!--etc/hadoop/yarn-site.xml--><!--配置MR运行在哪个上面？YARN上--><property> <name>mapreduce.framework.name</name> <value>yarn</value>&am
2018-02-27 18:02:00
750
原创 HDFS Yarn简介和运行流程
YARN：不同的计算框架可以共享同一HDFS集群上的数据，享受整体的资源调度（可以使MR，HDFS，Spark，storm等共用同一集群的框架，YARN可以按框架的资源需求量做出合适的分配） YARN架构： 1、ResourceManager：RM 整个集群同一时间提供服务的RM只有一个，负责集群资源的同一管理和调度（一般会有一个代替者，主RM挂掉后，副RM开始启...
2018-02-27 17:31:00
646
原创 HDFS 笔记配置、启动
下载安装Hadoop、JDK、SSH（SSH要求免密访问）修改Hadoop配置文件： 1、../hadoop/etc/hadoop/core-site.xml<!--配置HDFS默认的文件地址及端口--><property> <name>fs.defaultFS</name> <value>hdfs://lo...
2018-02-26 16:55:00
224
原创 HDFS 构架笔记（一）
HDFS分为Master（NameNode/NN） +N个Slaves（DataNode/DN） 集群里只有一个机器上运行NN，其他每台机器上运行一个DN（也可以一个机器上运行多个DN，但生产环境中不建议这么做），一个DN切割n个Block，DN中的Block，只有最后一个才有可能大小不一，其他是一样的，block的默认大小是128，也可以自行设置 NN职责：1、负责客户端请求...
2018-02-26 15:58:00
247
原创 Ubuntu：apt-get update出错：由于没有公钥，无法验证下列签名
在apt-get update时遇到出错：错误:1 http://archive.ubuntukylin.com:10006/ubuntukylin xenial InRelease 由于没有公钥，无法验证下列签名： NO_PUBKEY E40EBBA24FF2FC69错误信息如下：获取:1 http://archive.ubuntukylin.com:10006/ubuntuk...
2018-02-26 14:39:00
2908
原创 apt 更新源
编辑 /etc/apt/sources.list（一般权限不够，需修改下权限）清空文件内所有内容后添加,deb http://mirrors.ustc.edu.cn/kali kali-rolling main contrib non-free保存退出更新依次运行以下命令apt-get updateapt-get upgradeapt-get dist-upgrade完...
2018-02-26 14:38:00
1762
原创 Spring Boot常用注解
@SpringBootApplication:包含@Configuration、@EnableAutoConfiguration、@ComponentScan通常用在主类上。@Repository:用于标注数据访问组件，即DAO组件。@Service:用于标注业务层组件。 @RestController:用于标注控制层组件(如struts中的action)，包含...
2018-02-23 12:02:00
77
Boxy SVG for Mac v4.35.0 mac
2024-07-08
Sketch 100.1 轻量易用的矢量设计工具 mac
2024-07-08
navicat 17.0.12 mac
2024-07-08
Sonar汉化jar包
2018-07-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人