![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 87
JAVA和人工智能
探索Java编程深度,解码人工智能奥秘。分享技术干货,洞察行业趋势,搭建程序思维桥梁,与你共赴科技未来。欢迎关注公众号:JAVA和人工智能
展开
-
分布式系统详解--基础知识(CAP)
分布式系统详解--基础知识(CAP) 前面呢,文章写到了 分布式系统详解--基础知识(通信),在RPC中看到通信为题的重要性,但是分布式系统当中又要牵扯到另外一个地方,就是数据的一致性(Consistency)、可用性(Availability)和容错性(Partition tolerance)。那这三个问题能够解决么,怎么解决...原创 2018-09-11 17:10:01 · 6628 阅读 · 0 评论 -
分布式系统详解--框架(Hadoop-HDFS的HA搭建及测试)
分布式系统详解 - 框架(Hadoop的HDFS的HA搭建及测试)一,背景概述解决问题1:通过上面的图我们可以明确的看出来,如果的的Namenode坏掉了,那我们的整个集群可以说就是要瘫痪了也就是单节点故障问题。于是现在就出现了另外一张图,我截取的〜在这儿我们看到有两个名称节点,一个是(Acticve),另外一个是待机。该图特点:1,他们被上面Z...原创 2018-10-23 13:26:40 · 706 阅读 · 0 评论 -
分布式系统详解--框架(Zookeeper-基本shell命令)
分布式系统详解--框架(Zookeeper-基本shell命令简介) 一、启动连接1.1 启动zookeeper集群./zkServer.sh start1.2 查看节点状态./zkServer.sh status1.3 关闭节点./zkServer.sh stop1.4 连接(1)连接本机服务器中的zookeeper:zkCli.s...原创 2018-10-19 11:52:39 · 200 阅读 · 0 评论 -
分布式系统详解--框架(Zookeeper-简介和集群搭建)
分布式系统详解--框架(Zookeeper-简介和集群搭建)一、Zookeeper简介1.1 Zookeeper是什么? Zookeeper是一个集中式服务,用于维护配置信息,命名提供分布式同步和提供组服务。所有这些类型的服务都已分布式应用程序的某种形式使用。每次实施他们都需要做很多工作来修复不可避免的错误和竞争条件。它是一个为分布式应用提供一致...原创 2018-10-18 16:19:40 · 482 阅读 · 0 评论 -
分布式系统详解--框架(Hadoop-集群搭建)
分布式系统详解--框架(Hadoop-集群搭建) 前面的文章也简单介绍了,hadoop的环境搭建分为三种,单机版,伪分布式,全分布式。这篇文章为介绍hadoop的全分布式的架构搭建。一、步骤总纲二、搭建规划主机名称 IP地址 功能 MyLinux 192.168.71.233 NameNode、Dat...原创 2018-10-09 16:48:20 · 1499 阅读 · 0 评论 -
分布式系统详解--框架(Hadoop--RPC协议)
分布式系统详解--框架(Hadoop--RPC协议) 在之前的一篇文章当中已经写过一篇文章是关于RPC通信协议的文章,是 分布式系统详解--基础知识(通信)。是讲的关于网络通信的最基本的知识。这篇文章也简单讲一下关于hadoop内部的网络通信。一、hadoop的RPC模式C/S模式基于传输层模式。(TCP/IP)事件处理模...原创 2018-10-15 12:23:23 · 673 阅读 · 0 评论 -
分布式系统详解--框架(Hadoop--JAVA操作HDFS文件)
分布式系统详解--框架(Hadoop--JAVA操作HDFS文件) 前面的文章介绍了怎么将整个集群系统搭建起来,并进行了有效的测试。为了解决登录一台服务器登录其他服务器需要多次输入密码的问题,提供了SSH免密码登录解决方案。还有一些hadoop的简单操作shell命令。今天我们就结合eclipse来用JAVA语言来读取和操作我们的hadoop文件系统中的文件。...原创 2018-10-12 17:37:20 · 899 阅读 · 0 评论 -
分布式系统详解--架构(Hadoop-克隆服务器)
分布式系统详解--架构(Hadoop-克隆服务器) 分布式系统上一个呢,写了一下分布式系统的单机版安装教程,并且对于hadoop来说进行了一个单机版的应用测试。我们这篇文章主要讲解一下利用hadoop来进行分布式搭建。当然在搭建分布式集群之前也要仔细的了解一下hadoop的一些原理,比如说:HDFS原理和YARN原理。一、克隆服务器(基...原创 2018-10-09 10:01:12 · 962 阅读 · 0 评论 -
分布式系统详解--框架(Hadoop-基本shell命令)
分布式系统详解--框架(Hadoop-基本shell命令) 前面的文章我们已经将一个集群搭建好了,现在就需要知道一些关于hadoop的基本操作命令,这篇文章就简单介绍一下hadoop的基本操作shell命令。一、安装hadoop后,hadoop fs在常用命令上进行了标注。[root@MyLinux hadoop-2.7.5]# had...原创 2018-10-11 16:44:34 · 216 阅读 · 0 评论 -
分布式系统详解--Linux(权限)
分布式系统详解--Linux(权限) 之前再windows上面其实也是有权限的,只是因为我们登录windows系统的时候,可能直接登录的我们自己的电脑,所以直接登录的是管理员权限级别的用户,但是再linux上面,常常是以服务器的形式来进行操作。这样就需要一个管理员以及多个用户,管理员拥有所有的权限,其他的人仅仅是以用户的形式进行...原创 2018-09-21 11:15:36 · 2124 阅读 · 0 评论 -
分布式系统详解--框架(Hadoop-Ssh免密登陆配置)
分布式系统详解--框架(Hadoop-Ssh免密登陆配置) 配置Ssh非常简单,其实就是为了避免将来集群机器变得很多导致操作本机、后者操作其它服务器输入密码的次数太多而浪费了太多的时间,在这儿我们配置了这个Ssh免登录将会节省一大部分时间。我们看如何来解决这一问题。一、测试从一台服务器登录另外一台服务器。通过图片发现,需要进行输入密码才能进入...原创 2018-10-11 15:19:07 · 954 阅读 · 0 评论 -
分布式系统详解--框架(Hadoop-单机版搭建)
分布式系统详解--框架(Hadoop-单机版搭建) 前面讲了这么多的理论知识,也有一些基础的小知识点,很简单的概括了一下。从这篇文章开始,就会进入到一个理论实践相结合中,这篇文章主要是讲的Hadoop,讲解它的基础认识、安装、常用命令、还有就是代码实现。让我们开始跟着小象走一遭~~一、hadoop是什么? Apach...原创 2018-09-25 15:29:18 · 1017 阅读 · 0 评论 -
分布式系统详解--架构简介(微服务)
分布式系统详解--架构简介(微服务) 前面的一个集合我们也差不多聊完了整个分布式的基础知识,把基本上包含的内容点也简单做了一下了解和分析,在每一个基础店里面,如果细细探讨和研究,都是至少一本数的技术和含量,而这里只能起到一个抛砖引玉的过程,真正需要详细的看待分布式系统详解中的每一篇基础知识的时候,还是相当的不足。希望起到一个系统...原创 2018-09-14 15:38:48 · 3347 阅读 · 0 评论 -
分布式系统详解--基础知识(并发)
分布式系统详解--基础知识(并发) 在前面曾经写了一篇文章 时 分布式系统详解--基础知识(线程) 已经简单介绍了一下关于线程的一些小故事,今天再来看一下我们的并发的问题,并发的情况出现。今天来了解一下并发的基本知识,然后通过内部程序上和应用程序上来看一下解决方案。一、定义 并发,其实就是通过设计可以同时处理多个...原创 2018-09-13 19:03:09 · 5670 阅读 · 0 评论 -
分布式系统详解--基础知识(线程)
分布式系统详解--基础知识(线程)一、导读 前面跟大家讲了一下 分布式系统详解--基础知识(概论) ,可以稍微了解一下大体上分布式是怎么一回事了。这片篇文章主要是讲述一下线程的问题分别介绍一下,什么线程,进程和线程之间的关系,最后文章后面介绍一下多线程和分布式之间的关系。二、来看看图解定义(看图理解定义效果更好~)程...原创 2018-09-07 17:35:06 · 4610 阅读 · 0 评论 -
分布式系统详解--基础知识(通信)
分布式系统详解--基础知识(通信) 上一篇文章我们写到了 分布式系统详解--基础知识(线程) ,简单了解了一下线程的基本概念和线程和分布式的那斩不断理还乱的关系。今天再讲解一下它的另外一个必备知识--通信!进程之间进行通信是分布式的核心,失去了通信,也就无所谓子系统之间的相互联系。本篇文章主要介绍的几个基础知识,网络的基本概念知识、...原创 2018-09-10 17:51:12 · 7536 阅读 · 1 评论 -
分布式系统详解--基础知识(安全)
分布式系统详解--基础知识(安全) 前一篇文章提到了 分布式系统详解--基础知识(CAP),让我们了解到了分布式中一致性、可用性和分区容错性之间的爱恨情仇,今天的安全性我想更是重中之重,没有安全,好像什么都没有了,这篇文章当中也只能将一些最基本的安全知识介绍一下,如黑客攻击的基本漏洞、数据加密、权限控制、安全通道。如果想成为安...原创 2018-09-12 19:29:23 · 5536 阅读 · 0 评论 -
分布式系统详解--基础知识(概论)
分布式系统详解--基础知识(概论)一、 引言 由于网上介绍的分布式的系统讲解并没有多少,所以在这儿就希望可以写一套系统的分布式的详解,未来也结合springboot的搭建分布式系统进行详细构建。也愿意坚持写下去,写给自己也分享给大家,希望大家可以提出宝贵的意见,一同长进。哈哈。。第一篇文章,开个头。二、分布式定义。 了解...原创 2018-09-06 15:38:28 · 8489 阅读 · 0 评论 -
分布式系统详解--框架(Hadoop-YARN的HA搭建及测试)
分布式系统详解--框架(Hadoop-YARN的HA搭建及测试) 由上一节内容的基础 分布式系统详解--框架(Hadoop-HDFS的HA搭建及测试),我们就直接开始配置yarn的高可用。一、yarn的规划IP 主机名 节点 192.168.71.234 centos01 resourcemanager,nodemanager,quroumPeer...原创 2018-10-29 10:50:37 · 287 阅读 · 0 评论