小冷在努力~

就像相信每一个人都是从傻逼一步一步的走来一样 的 相信自己

hadoop原理学习记录

1.hdfs: 靠谱:有备份写入hdfs系统时,生成一个校验和,传输数据时再生成一个校验和,传输完成时又生成一个校验和。对比上传前后校验和。 每个datanote运行一个守护线程datablockscanner数据块扫描器。 2.namenode刚启动工作过程:       进入安全模式,...

2018-11-06 10:41:14

阅读数 46

评论数 0

hdfs运维指令

配额管理 Hdfs dfsadmin 条件: 对目录进行设置 值必须时正整数 具有管理员权限 2、目录配额 控制目录所有文件/文件夹的个数,当前设置的目录也算是1个,所以1表示当前目录为空目录 Hdfs dfsadmin –setQuota 1 /user/data   //设...

2018-11-06 10:38:21

阅读数 608

评论数 0

五种大数据处理架构

该文章转载自https://blog.csdn.net/wjandy0211/article/details/78802044。作者对当前大数据框架特点分析的很透彻清晰。现对该文章内容做一遍复读。如下: 大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数...

2018-08-04 11:20:48

阅读数 1802

评论数 0

HDFS性能优化

分布式文件系统是在多个节点上做的数据文件的部署,所以,当多个节点之间要做数据的传输通信时,就要有一个文件目录的管理者和网络带宽的使用。当namenode的可使用的内存空间和网络带宽可使用率非常大时,实现节点之间的数据快速传输通信是非常可观的。这里,就对如何提高hdfs性能做如下优化介绍。   ...

2017-09-10 15:34:33

阅读数 3712

评论数 0

HDFS启动过程了解

Namenode目录:元数据(name,permission,block,replication),没有dn的位置 当系统启动并加载fsimage完成之后(这个时候元数据都加载到内存中),dn向namenode报告自己的块列表,这个时候形成数据块->datanode列表的映射,数据块到da...

2017-09-10 15:26:06

阅读数 149

评论数 0

HDFS文件创建和存储

在对上篇hdfs网络拓扑与机架感知                              有了了解之后,现在对HDFS文件创建和存储过程做一个基础的介绍。 HDFS在文件创建和存储的过程中,需要考虑带宽和可靠性。如果在hdfs集群中选出datanode列表作为文件的存储节点呢?上篇已经介绍说...

2017-09-10 15:23:37

阅读数 2600

评论数 0

hdfs网络拓扑与机架感知

在了解hdfs创建文件之前,需要对hdfs网络拓扑有一个浅显的认知,继而对机架感知做一个简单的介绍。 在海量数据处理中,其主要限制因素是节点之间数据的传输速率-带宽稀缺。这里的想法是将两个节点间的距离作为带宽的衡量标准。Hadoop采用一个简单的方法:把网络看作一棵树,两个节点间的距离是它们...

2017-09-10 15:17:12

阅读数 751

评论数 0

2.7.2hadoop分布式安装

本篇博客对hadoop分布式安装做一下说明: 安装包 JDK安装 hadoop安装 ssh安全登录 关闭防火墙 注意事项 安装包 jdk-8u181-linux-x64.tar.gz hadoop-2.7.7.tar.gz JDK安装 1)      解压:Tar –xzvf...

2017-09-05 11:17:11

阅读数 144

评论数 0

AOP数据库操作回滚配置

<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:mvc=&q...

2017-08-22 19:24:32

阅读数 574

评论数 0

AOP面向切面编程

spring的三大核心:控制反转、依赖注入、面向切面编程。 控制反转:对象A依赖对象B,如果收到把对象B给new出来,会使代码高度耦合,产生硬编码。为了避免这种情况,通过注解或配置XML将bean托管给spring管理。由spring进行bean实例的创建 依赖注入:当spring把对象B创建...

2017-08-22 19:16:33

阅读数 120

评论数 0

oracle多个实例创建

1. 修改ORACLE用户环境变量 vi /home/oracle/.bash_profile ,修改export LANG=EN_US   同时生效。 source .bash_profile 2. 创建数据库文件夹 /oradata为数据库表空间的存放路径 /oradata/system 为系...

2017-07-05 21:02:56

阅读数 753

评论数 0

RPC学习总结

因为hadoop实现的集群之间的数据是通过网络来进行传输的,hadoop的整个体系结构就是构建在RPC之上的(见org.apache.hadoop.ipc)。这里对RPC做一个浅显的学习总结 RPC——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。...

2017-04-15 19:17:07

阅读数 174

评论数 0

MapReduce学习总结

MapReduce是一种分布式计算框架,又称并行计算框架,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,这里用户只需要实现map()和reduce()两个函数,即可实现分布式计算,听起来是不是感觉很简单的样子 如果要对MR有更深入的了解,就需要对MR的执行流...

2017-04-15 19:03:57

阅读数 937

评论数 0

HDFS学习总结

这里主要介绍HDFS的shell操作指令,关于HDFS理论知识,请参看hadoop基础理论知识章节 HDFS的shell操作指令 HDFS对文件操作些许JAVA  API 1.读取HDFS系统下的文件内容 2.从linux上传文件到HDFS 3.从HDFS下载文件到linux 4.删除HD...

2017-04-15 17:57:29

阅读数 557

评论数 0

hadoop集群安装

通过创建多个虚拟机来模拟实现hadoop的集群安装。现创建了三个虚拟机,主机名分别为hadoop0,hadoop1,hadoop2。现选中hadoop0作为集群主节点,hadoop1、hadoop2作为从节点。在hadoop0上运行Java进程NameNode、JobTracker、Seconda...

2017-04-15 17:31:33

阅读数 170

评论数 0

hadoop基础理论知识

hadoop是用于管理海量数据,且能够对海量数据进行高效率处理的一种系统框架。其特点有:1.  扩容性:能可靠的存储和处理海量数据 2.成本低:普通的机器就能够组成服务器集群来进行数据的存储和处理3. 高效性:通过分发数据,hdoop可以再数据所在的节点上并行的处理它们4. 可靠性:hadoop能...

2017-03-27 10:43:26

阅读数 298

评论数 0

hadoop伪分布式环境搭建

1.      在虚拟机上创建三个服务器,用户都是hadoop,密码是123456 2.      用xShell或者secureCRT远程连接到三台服务器上,便于操作 3.      修改主机名:hostname hadoop0  hostnamehadoop1   hostname hado...

2017-03-13 10:15:19

阅读数 173

评论数 0

详解CheckStyle的检查规则(共138条规则)

本文主要介绍CheckStyle 5.6.1版本的各个规则配置项目,这个版本的CheckStyle将样式规则分为了以下十七种类型: 1. Annotations(注解:5个) Annotation Use Style(注解使用风格) 这项检查可以控制要使用的注解的样式...

2017-03-10 14:55:58

阅读数 762

评论数 0

checkStyle配置说明、范例和结果分析

1   2<!DOCTYPE module PUBLIC   3    "-//Puppy Crawl//DTD Check Configuration 1.2//EN"   4    "http://www.puppycrawl.com/dtds/config...

2017-03-09 10:17:54

阅读数 1537

评论数 0

Ext_菜单组件_Ext.menu.Menu

连接地址:http://blog.csdn.net/lulu_jiang/article/details/5473035 菜单组件常用配置: [javascript] view plain copy /*  Ext.menu.Menu...

2016-09-18 15:29:33

阅读数 2094

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭