面试笔记之查看linux系统内存的几种方式

面试笔记 在参加玖万里的那次校招面试中,被问到查看linux系统内存的几种方式,这个问题我在平时中没有引起重视,这次做一个总结记录。 方式一:free 直观的展示linux系统内存使用及交换区的容量大小等 方式二:top 动态实时查看系统中每一个进程的资源使用情况: 方式三:c...

2018-03-25 23:15:39

阅读数:112

评论数:0

Spark调优与学习笔记

【1】数据本地行存储,将存储与计算同节点部署 【2】存储格式选择列式存储,如Parquet,减少读IO量,压缩比高,减少存储空间。 【3】选择合理的Partition Key,防止数据倾斜或任务倾斜。 【4】对复用的RDD进行cache缓存操作 【5】尽可能避免shuffle,如:用red...

2018-03-23 09:10:51

阅读数:81

评论数:2

Hadoop MapReduce 计算框架剖析与学习笔记

要点剖析 MR程序性能优化 作业优化 作业输入和作业输出 要点剖析 【1】该键和值类必须由框架序列化,因此需要实现Writable接口。此外,关键类必须实现WritableComparable接口,以方便框架进行排序。 Input and Output types of a...

2018-03-23 09:09:59

阅读数:112

评论数:1

HDFS性能优化与学习笔记

HDFS要点 HDFS性能优化 HDFS故障恢复和容灾备份 HDFS要点 1.HDFS具有主/从架构。一个HDFS集群包含一个NameNode,一个主服务器,用于管理文件系统名称空间并管理客户端对文件的访问。此外,还有许多DataNode,通常是群集中的每个节点一...

2018-03-23 09:07:10

阅读数:207

评论数:1

MySQL 备份原表

假设我现在手头有一张原表customers,有两种方式来备份原表: 方式一:在没有创建备份表结构时,我们可以通过下面方式备份原表 CREATE TABLE back as SELECT * FROM customers WHERE 1=1; 这条sql语句的意思就是创建一个back表,与...

2018-03-16 21:35:40

阅读数:58

评论数:0

如何创建一个给定的Path路径中的文件目录及其文件

目录 Java笔记 shell笔记 Java笔记 /** * 安全的创建一个文件 * - 当该文件的父目录不存在时,一并创建。 * * @param Path 创建文件的完整路径 * @return 创建的新文件...

2018-03-15 20:35:28

阅读数:80

评论数:0

Hadoop官方文档学习之 HDFS联邦体系结构

背景 HDFS有两个主要层次: Namespaces - 由目录,文件和块组成。 - 它支持所有与Namespaces相关的文件系统操作,例如创建,删除,修改和列出文件和目录。 块存储服务有两个部分: 块管理(在Namenode中执行) 通过处理注册和定期心脏跳动...

2018-03-06 20:35:07

阅读数:149

评论数:0

Hadoop官方文档学习之 HDFS高可用性QJM与NFS模式

背景 在Hadoop 2.0.0之前,NameNode是HDFS集群中的单点故障(SPOF)。每个群集都有一个NameNode,如果该机器或进程不可用,整个群集将不可用,直到NameNode重新启动或在单独的计算机上启动为止。 HDFS高可用性功能通过提供在具有热备份的主动/被动配置中在同一集...

2018-03-06 17:04:44

阅读数:101

评论数:0

org.apache.hadoop.io.nativeio.NativeIO$Windows.access(null) entry in command string: null chmod 0700

环境:windowsHadoop版本:hadoop2.7.3开发工具:eclispe-hadoop-plugin运行map reduce任务报错:(null) entry in command string: null chmod 0700解决办法:在https://github.com/Swee...

2018-03-05 23:17:25

阅读数:162

评论数:0

HDFS高可用性 手动故障转移和自动故障转移配置教程

本文适用范围,对于任何官方开源包安装的集群环境 要配置HA NameNode,你必须将多个配置选项添加到你的hdfs-site.xml配置文件。这里我先给出全部的配置项,然后接下来会逐步提及各配置项。 <configuration> &...

2018-03-04 16:33:37

阅读数:301

评论数:0

HDFS创建全局快照

HDFS创建快照的详细说明文档请参见: [HDFS快照 | HDFS Snapshots] http://blog.csdn.net/coder__cs/article/details/79430333 允许创建目录的快照。如果操作成功完成,则该目录变为快照可见。 [elon@hadoop...

2018-03-03 15:13:42

阅读数:98

评论数:0

HDFS快照 | HDFS Snapshots

HDFS快照 概况 HDFS快照是文件系统的只读时间点副本。快照可以在文件系统的子树上或整个文件系统上进行。快照的一些常见用例是数据备份,防止用户错误和灾难恢复。 HDFS快照的实施非常高效: 快照创建是即时的:成本为O(1),不包括索引节点查找...

2018-03-03 14:50:20

阅读数:98

评论数:0

Hadoop集群垃圾箱配置 | fs.trash.interval

启用Hadoop集群垃圾箱配置 配置参数: <property> <name>fs.trash.interval</name> &am...

2018-03-03 14:12:10

阅读数:223

评论数:0

学习Hadoop官方文档之 Hadoop文件系统元数据的持久性与运作机制

NameNode中EditLog与FsImage文件的工作机制 EditLog和FsImage存储 HDFS名称空间由NameNode存储。NameNode使用名为EditLog的事务日志来持久记录元数据在本次集群启动后发生的所有更改操作。 例如,在HDFS中创建一个新文件会导致Name...

2018-03-03 10:59:11

阅读数:84

评论数:0

Hadoop平衡器管理员指南 | Hadoop Balancer Administrator Guide

平衡器是一种平衡HDFS集群磁盘空间使用情况的工具数据节点变满或新空节点加入群集时。该工具被部署为一个可由集群管理员在实时HDFS上运行的应用程序群集,而应用程序添加和删除文件。 SYNOPSIS To start: sbin/start-balancer.sh [-threshold &am...

2018-03-02 21:01:11

阅读数:82

评论数:0

Hadoop Web应用程序代理服务器 | Hadoop Web Application Proxy

Web Application Proxy Web Application Proxy 是YARN的一部分。 默认情况下,它将作为资源管理器(RM)的一部分运行,但可以配置为以独立模式运行。 代理的原因是通过YARN减少网络攻击的可能性。 在YARN中,应用程序主(AM)有责任提供一个we...

2018-03-01 00:51:15

阅读数:464

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭