![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
爱若手握流沙
这个作者很懒,什么都没留下…
展开
-
Hadoop三种安装模式:单机模式,伪分布式,真正分布式
Hadoop三种安装模式:单机模式,伪分布式,真正分布式Hadoop三种安装模式:单机模式,伪分布式,真正分布式一 单机模式standalone单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他转载 2017-04-19 14:50:16 · 983 阅读 · 0 评论 -
分布式文件系统(HDFS)与linux系统文件系统关系
每个磁盘都有默认的数据块大小,这是磁盘进行数据读/写的最小单位。而构建于单个磁盘之上的文件系统(linux文件系统)通过磁盘块来管理该文件系统中的块,该文件系统中的文件大小是磁盘块的整数倍。磁盘块的大小一般为512字节,其读写的最小单位是磁盘块的最小单位,文件占用的块由inode进行管理,记录该文件存放数据的N个block的物理地址。HDFS同样也有块的概念,HDFS文件系统中的块指的...原创 2018-10-25 10:35:49 · 900 阅读 · 0 评论 -
namespace命名空间
namespace翻译为命名空间,简单理解为给类、变量、函数等限定一个区域。namespace翻译为命名空间,顾名思义,就是把一些类、变量、函数包含在一个空间中,在调用的时候使用作用域限定符号来调用,防止出现同名类、变量、函数无法分清的情况。也可以用来区分一个程序中各个模块的功能,类似于类。 在Linux系统中,可以同时存在多用户多进程,那么对他们的运行协调管理,通过进程调度和进度管理可...原创 2018-10-25 10:54:00 · 424 阅读 · 0 评论 -
理解HDFS的架构和原理
(一) HDFS主要是用于做什么的? HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data S...转载 2018-10-23 16:06:43 · 220 阅读 · 0 评论 -
虚拟目录与分区挂载、命名空间
在一个集群环境中,是不允许出项2个同名路径的,这就是Single Name Space (全局统一命名空间)文件系统可以把 XX文件放到 YY目录,也可以把 DD目录 放到 YY目录。当我们像访问某个文件 或者 目录的时候,必须知道其路径才可以,比如Windows C:\Program Files\Application Verifier\helo.txtLinux /user/s...原创 2018-10-29 14:36:27 · 1735 阅读 · 0 评论 -
HDFS特性和常用Shell命令操作
一.HDFS简介 hdfs是一个文件系统,用于存储文件,通过统一的命名空间——目录树来定位文件,并且是分布式的,由很多服务器联合起来实现其功能,集群中的服务器各自负责角色;重要特征:1.HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数( dfs.blocksize)来规定,默认大小在hadoop2.x版本中是128M,老版本中是64M2.HDFS文件系统...原创 2018-10-29 17:15:26 · 613 阅读 · 0 评论 -
Hadoop简介
一.hadoop介绍HADOOP是apache旗下的一套开源软件平台 HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 HADOOP的核心组件有 HDFS(分布式文件系统) YARN(运算资源调度系统) MAPREDUCE(分布式运算编程框架) 广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈二.hadoop...原创 2018-10-29 17:34:37 · 1086 阅读 · 0 评论 -
Hadoop集群搭建
一.准备Linux环境(虚拟机)1.先将虚拟机的网络模式选为NAT2.修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hdp-node-013.修改IP vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="...原创 2018-10-29 17:48:48 · 154 阅读 · 0 评论 -
HDFS的原理详解
思考两个问题:HDFS文件系统的虚拟目录 分布式文件系统的命名空间 1.组成:NameNode: 存放文件的元数据信息(数据分成了多少个block,多少副本,不同的block分到了哪些DataNode上),也即hdfs文件系统中的文件与真实...原创 2018-10-24 17:55:42 · 497 阅读 · 0 评论 -
SSH原理
SSH全称是Secure Shell,SSH协议是基于应用层的安全远程登录协议,为远程登录会话和其他网络服务提供安全性的协议。SSH使用最多的是远程登录和传输文件,实现此功能的传统协议都不安全(ftp,telnet等),因为它们使用明文传输数据。而SSH在传输过程中的数据是加密的,安全性更高。ssh加密方式SSH从安全和性能两方面综合考虑,结合使用了 Public Key/Private ...原创 2018-11-08 13:39:55 · 177 阅读 · 0 评论 -
大数据架构图
原创 2019-01-11 10:10:30 · 1689 阅读 · 0 评论 -
行式数据库和列式数据库
导语:随着大数据的发展,现在出现的列式存储和列式数据库。它与传统的行式数据库有很大区别的。正文:行式数据库是按照行存储的,行式数据库擅长随机读操作不适合用于大数据。像SQL server,Oracle,mysql等传统的是属于行式数据库范畴。列式数据库从一开始就是面向大数据环境下数据仓库的数据分析而产生。数据库以行、列的二维表的形式存储数据,但是却以一维字符串的方式转载 2017-08-11 18:16:51 · 810 阅读 · 1 评论 -
Hive
create table psn(id int,name string); insert into psn values(1,'qimingwei'); 会转成mapreduce select * from psn; select *不会转成mapreduce insert操作原创 2017-09-22 13:14:12 · 253 阅读 · 0 评论 -
Linux
Linux系统下安装软件方式: yum 本地 ,阿里 rpm 源码安装 压缩包原创 2017-09-22 20:32:30 · 214 阅读 · 0 评论 -
软件程序运行的原理,运行是什么意思
运行:CPU读取内存的栈,即cpu读取栈内存原创 2017-09-26 17:09:01 · 2608 阅读 · 0 评论 -
HTTP Server和Application Server
HTTP Server 关心的是 HTTP 协议层面的传输和访问控制,所以在 Apache/Nginx 上你可以看到代理、负载均衡等功能 nginx常用做静态内容服务和代理服务器,将外来请求转发给后面的应用服务(tomcat,jboss,jetty等)。 应用服务器Application Server,则是一个应用执行的容原创 2017-09-26 17:23:38 · 1506 阅读 · 1 评论 -
cpu,内存,磁盘io
CPU:工人,干活的,判断以及逻辑处理内存:车间,工人干活的地方,车间中加工原料,当车间中没有原料了,在从仓库中取原料,对原料进行加工 内存本身有一定的存储空间,对内存中的数据进行处理的速度比从硬盘取数据再处理的速度快很多硬盘:仓库,原料,数据存储CPU对数据进行判断以及逻辑处理,本身不能存储数据,这时cpu从内存取数据进行逻辑计算,如果内存没有数据,才会从硬盘读数据到内原创 2017-09-19 20:31:34 · 432 阅读 · 0 评论 -
Yum命令常用命令详解
Yum命令常用命令详解 1.使用YUM查找软件包 命令:yum search~2.列出所有可安装的软件包 命令:yum list3.列出所有可更新的软件包 命令:yum list updates4.列出所有已安装的软件包 命令:yum list installed5.列出所有已安装但不在Yum Repository 內的软件包 命令:yum原创 2017-09-29 20:06:03 · 448 阅读 · 0 评论 -
由于格式(format)多次namenode造成的集群id(ClusterID)不一致问题
高可用集群(ha集群),有两个namenode,一个active状态,一个standby状态。 1,当配置好第一个namenode后,第一次启动第一台namenode:hadoop-daemon.sh start namenode 2,第一次格式化namenode会产生集群ID(ClusterID):hdfs namenode -fo原创 2017-09-21 18:55:00 · 2515 阅读 · 0 评论 -
linux命令总结
mv命令是move的缩写作用:移动文件 修改文件名命令格式: mv [选项] 源文件或目录 目标文件或目录命令功能: 根据mv命令中第二个参数类型的不同(是目标文件还是目标目录),决定mv命令是将文件重命名还是将其移至一个新的目录中。原创 2017-09-21 23:18:30 · 220 阅读 · 0 评论 -
Hbase
1,主要用来存储非结构化数据和半结构化数据,当然,例如mysql或oracle结构化数据也可以存储 2,为什么要用Hbase? 因为数据存储在HDFS中比较杂乱,Hbase起到对数据过滤的作用,比如HDFS中存储了很多年的数据记录,但是我们只要处理近一年的数据,就可以过滤出来存储到Hbase中来处理,还有处理之后的输出数据存储在Hbase要比存储在HDFS中要好得原创 2017-09-22 09:53:30 · 269 阅读 · 0 评论 -
lucene和ElasticSearch基本概念
lucene基本概念索引(Index)对应一个倒排表,倒排表是Lucene索引采用的一套数据结构,一个检索的基本单位。在lucene中就对应一个目录。lucene基本概念段(Segment)一个索引可以包含多个段,段与段之间是独立的,添加新文档可以生成新的段,不同的段可以合并。段是索引数据存储的单元。文档(Document)•文档是我们建索引的基本单位,不同的文档是原创 2017-10-13 19:51:08 · 445 阅读 · 0 评论 -
Google 大数据的三篇论文
Google File System中文版Google Bigtable中文版Google MapReduce中文版转载 2019-01-18 09:45:32 · 809 阅读 · 0 评论