- 博客(16)
- 资源 (12)
- 问答 (2)
- 收藏
- 关注
原创 面试笔记之查看linux系统内存的几种方式
面试笔记 在参加玖万里的那次校招面试中,被问到查看linux系统内存的几种方式,这个问题我在平时中没有引起重视,这次做一个总结记录。方式一:free 直观的展示linux系统内存使用及交换区的容量大小等 方式二:top 动态实时查看系统中每一个进程的资源使用情况: 方式三:cat /proc/meminfo 方式四:gnome-system-monitor 一个显示最近...
2018-03-25 23:15:39 462
原创 Spark调优与学习笔记
【1】数据本地行存储,将存储与计算同节点部署 【2】存储格式选择列式存储,如Parquet,减少读IO量,压缩比高,减少存储空间。 【3】选择合理的Partition Key,防止数据倾斜或任务倾斜。 【4】对复用的RDD进行cache缓存操作 【5】尽可能避免shuffle,如:用reduceByKey代替groupByKey 【6】尽可能实用Spark SQL实现Spark计算,因为...
2018-03-23 09:10:51 311 1
原创 Hadoop MapReduce 计算框架剖析与学习笔记
要点剖析MR程序性能优化作业优化作业输入和作业输出要点剖析【1】该键和值类必须由框架序列化,因此需要实现Writable接口。此外,关键类必须实现WritableComparable接口,以方便框架进行排序。 Input and Output types of a MapReduce job: (input) <k1, v1> -> map -...
2018-03-23 09:09:59 435
原创 HDFS性能优化与学习笔记
HDFS要点HDFS性能优化HDFS故障恢复和容灾备份HDFS要点1.HDFS具有主/从架构。一个HDFS集群包含一个NameNode,一个主服务器,用于管理文件系统名称空间并管理客户端对文件的访问。此外,还有许多DataNode,通常是群集中的每个节点一个,它们管理连接到它们所运行的节点的存储。HDFS公开文件系统名称空间并允许用户数据存储在文件中。在内...
2018-03-23 09:07:10 1802
原创 MySQL 备份原表
假设我现在手头有一张原表customers,有两种方式来备份原表:方式一:在没有创建备份表结构时,我们可以通过下面方式备份原表CREATE TABLE back as SELECT * FROM customers WHERE 1=1;这条sql语句的意思就是创建一个back表,与customers表结构一致,在select子语句中携带了表数据,在创建back表时会一并带过去。...
2018-03-16 21:35:40 374
原创 如何创建一个给定的Path路径中的文件目录及其文件
目录Java笔记shell笔记Java笔记 /** * 安全的创建一个文件 * - 当该文件的父目录不存在时,一并创建。 * * @param Path 创建文件的完整路径 * @return 创建的新文件File对象 * @throws IOException */ prote...
2018-03-15 20:35:28 1402
原创 Hadoop官方文档学习之 HDFS联邦体系结构
背景HDFS有两个主要层次:Namespaces - 由目录,文件和块组成。 - 它支持所有与Namespaces相关的文件系统操作,例如创建,删除,修改和列出文件和目录。块存储服务有两个部分:块管理(在Namenode中执行) 通过处理注册和定期心脏跳动提供Datanode群集成员身份。进程阻止报告并维护块的位置。支持块相关的操作,如创建,删除,修改...
2018-03-06 20:35:07 758
原创 Hadoop官方文档学习之 HDFS高可用性QJM与NFS模式
背景在Hadoop 2.0.0之前,NameNode是HDFS集群中的单点故障(SPOF)。每个群集都有一个NameNode,如果该机器或进程不可用,整个群集将不可用,直到NameNode重新启动或在单独的计算机上启动为止。HDFS高可用性功能通过提供在具有热备份的主动/被动配置中在同一集群中运行两个冗余NameNode的选项来解决上述问题。这允许在计算机崩溃的情况下快速故障转移到新的Na...
2018-03-06 17:04:44 1097
转载 org.apache.hadoop.io.nativeio.NativeIO$Windows.access(null) entry in command string: null chmod 0700
环境:windowsHadoop版本:hadoop2.7.3开发工具:eclispe-hadoop-plugin运行map reduce任务报错:(null) entry in command string: null chmod 0700解决办法:在https://github.com/SweetInk/hadoop-common-2.7.1-bin中下载winutils.exe,libwinu...
2018-03-05 23:17:25 1172
原创 HDFS高可用性 手动故障转移和自动故障转移配置教程
本文适用范围,对于任何官方开源包安装的集群环境要配置HA NameNode,你必须将多个配置选项添加到你的hdfs-site.xml配置文件。这里我先给出全部的配置项,然后接下来会逐步提及各配置项。<configuration><property> <name>dfs.nameservices</name> <valu...
2018-03-04 16:33:37 2492
原创 HDFS创建全局快照
HDFS创建快照的详细说明文档请参见: [HDFS快照 | HDFS Snapshots] http://blog.csdn.net/coder__cs/article/details/79430333允许创建目录的快照。如果操作成功完成,则该目录变为快照可见。[elon@hadoop4 bin]$ hdfs dfsadmin -allowSnapshot /Allowing sna...
2018-03-03 15:13:42 642
原创 HDFS快照 | HDFS Snapshots
HDFS快照概况 HDFS快照是文件系统的只读时间点副本。快照可以在文件系统的子树上或整个文件系统上进行。快照的一些常见用例是数据备份,防止用户错误和灾难恢复。 HDFS快照的实施非常高效: 快照创建是即时的:成本为O(1),不包括索引节点查找时间。额外内存仅在相对于快照进行修改时使用:内存使用量为O(M),其中M是修改的文件/目录的数量。...
2018-03-03 14:50:20 1070
翻译 Hadoop集群垃圾箱配置 | fs.trash.interval
启用Hadoop集群垃圾箱配置配置参数:<property> <name>fs.trash.interval</name> <value>10</value> <description>检查点被删除后的分钟数。 如果为零,垃圾桶功能将被禁用。 该选项可以在服务器和客户端上配置。...
2018-03-03 14:12:10 5243
原创 学习Hadoop官方文档之 Hadoop文件系统元数据的持久性与运作机制
NameNode中EditLog与FsImage文件的工作机制EditLog和FsImage存储HDFS名称空间由NameNode存储。NameNode使用名为EditLog的事务日志来持久记录元数据在本次集群启动后发生的所有更改操作。 例如,在HDFS中创建一个新文件会导致NameNode向EditLog中插入一条记录,指出这一点。同样,更改文件的复制因子会导致将新记录插入到Edi...
2018-03-03 10:59:11 352
翻译 Hadoop平衡器管理员指南 | Hadoop Balancer Administrator Guide
平衡器是一种平衡HDFS集群磁盘空间使用情况的工具数据节点变满或新空节点加入群集时。该工具被部署为一个可由集群管理员在实时HDFS上运行的应用程序群集,而应用程序添加和删除文件。SYNOPSISTo start: sbin/start-balancer.sh [-threshold <threshold>] Example: bin/ start-balancer.sh s...
2018-03-02 21:01:11 556
翻译 Hadoop Web应用程序代理服务器 | Hadoop Web Application Proxy
Web Application ProxyWeb Application Proxy 是YARN的一部分。默认情况下,它将作为资源管理器(RM)的一部分运行,但可以配置为以独立模式运行。 代理的原因是通过YARN减少网络攻击的可能性。在YARN中,应用程序主(AM)有责任提供一个web UI并将该链接发送到RM。这就引出了一些潜在的问题。 RM作为一个受信任的用户运行,访问该web...
2018-03-01 00:51:15 3100
hadoop-2.7.5-bin压缩包,适合在window平台运行hadoop和spark程序,其中的文件已做替换
2018-01-30
仅利用session和application实现聊天室
2017-04-18
Java编写 航班信息查询管理系统
2016-05-11
Java编写的 航班信息查询管理系统
2016-05-04
React Native 可以走多远,应用场景有多广,未来行业发展前景如何?
2016-07-04
大数据对于一个自学的大学生难吗?
2016-06-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人