- 博客(12)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop入门系列(8)-Spring Boot客户端操作HDFS
标题下载：https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gzHADOOP_HOMED:\javaDevelop\hadoop-2.9.2%HADOOP_HOME%\bin
2020-12-24 19:58:11
692
原创 Hadoop入门系列(7)-Windows10环境下源码编译hadoop-2.9.2
基础环境准备都是常用开发环境，程序员一般都有这个环境，安装方法不赘述，实在不知道的自行百度1.下载源码并解压到D盘根目录下,查看编译说明。官网下载地址Github克隆地址Requirements:* Windows System* JDK 1.7 or 1.8* Maven 3.0 or later* Findbugs 1.3.9 (if running findbugs)* ProtocolBuffer 2.5.0* CMake 2.6 or newer* Windows SD
2020-12-24 16:50:35
356
原创 Hadoop入门系列(6)-HDFS详解及操作命令
简介Hadoop分布式文件系统（HDFS）是一种旨在在商品硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的区别很明显。HDFS具有高度的容错能力，旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，并且适用于具有大数据集的应用程序。HDFS放宽了一些POSIX要求，以实现对文件系统数据的流式访问。HDFS最初是作为Apache Nutch Web搜索引擎项目的基础结构而构建的。HDFS是Apache Hadoop Core项目的一部分。优点
2020-12-23 13:55:16
1645
5
原创 Hadoop入门系列(5)-Hadoop集群搭建
环境准备准备三台centos7虚拟机，分配IP，并能ping通互联网。系统配置# 关闭防火墙systemctl stop firewalld && systemctl disable firewalld# 修改主机名称# scp 标题安装JDK(所有节点)安装SSH免密登录安装Hadoop，scp到其他节点scp -r root@hadoop001 /opt/soft ./集群文件分发脚本集群准备规划：hadoop001hadoop002
2020-12-23 13:44:16
214
原创 Sentinel系列(7)-Sentinel之@SentinelResource注解
概述资源资源是 Sentinel 的关键概念。它可以是 Java 应用程序中的任何内容，例如，由应用程序提供的服务，或由应用程序调用的其它应用提供的服务，甚至可以是一段代码。只要通过 Sentinel API 定义的代码，就是资源，能够被 Sentinel 保护起来。大部分情况下，可以使用方法签名，URL，甚至服务名称作为资源名来标示资源。@SentinelResourceSentinel资源的定义源码@Target({ElementType.METHOD, ElementType.TYPE}
2020-12-22 16:34:47
691
原创 Sentinel系列(6)-Sentinel控制台功能详解之降级规则+热点规则+授权规则+系统规则
概述除了流量控制以外，对调用链路中不稳定的资源进行熔断降级也是保障高可用的重要措施之一。一个服务常常会调用别的模块，可能是另外的一个远程服务、数据库，或者第三方 API 等。例如，支付的时候，可能需要远程调用银联提供的 API；查询某个商品的价格，可能需要进行数据库查询。然而，这个被依赖服务的稳定性是不能保证的。如果依赖的服务出现了不稳定的情况，请求的响应时间变长，那么调用服务的方法的响应时间也会变长，线程会产生堆积，最终可能耗尽业务自身的线程池，服务本身也变得不可用现代微服务架构都是分布式的，由非常多
2020-12-22 15:45:14
1736
3
原创 Sentinel系列(5)-Sentinel控制台功能详解之流控规则
实时监控集成控制台后，当有请求时，实时监控页面会显示当前服务各个接口的访问信息，以图表的形式展示给用户，包含访问时间、通过 QPS、拒绝QPS、响应时间（ms）等信息。簇点链路列表：用于展示服务所有接口，包含通过QPS、拒绝QPS、线程数、平均RT、分钟通过、分钟拒绝等信息。192.168.58.1:8720: IP为当前服务所在的IP地址。端口为服务与Sentinel控制台交互的端口，服务本地会起一个该端口占用的HttpServer，该 Server 会与 Sentinel 控制台做交互。比如
2020-12-22 15:44:13
1801
2
原创 Linux服务器时间同步chrony详解+案例
前言在实际项目部署中，时间同步很重要，必须确保服务器集群时间一致，不然会导致很多问题出现。NTP(Network Time Protocol）网络时间协议基于UDP，用于网络时间同步的协议，使网络中的计算机时钟同步到UTC(世界统一时间)，再配合各个时区的偏移调整就能实现精准同步对时功能。在Linux系统中，该NTP协议由运行在用户空间中的守护程序实现。用户空间守护程序更新内核中运行的系统时钟。系统时钟可以通过使用各种时钟源来节省时间。通常，使用时间戳计数器（TSC）。TSC是一个CPU寄存器，用于计
2020-12-04 22:14:06
21153
2
原创 Hadoop入门系列(4)-Hadoop配置历史服务器+日志聚集
配置历史服务器可以启动历史服务器，方便查看程序历史运行情况# 配置mapred-site.xmlcd /opt/soft/hadoopvim etc/hadoop/mapred-site.xml# 添加 <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>192.168.58.241:10
2020-12-02 15:46:05
220
原创 Hadoop入门系列(3)-Hadoop三种运行模式及案例
前言可以以三种支持的模式之一启动Hadoop集群：本地（独立）模式伪分布式模式全分布式模式本地（独立）模式案例默认情况下，Hadoop被配置为以非分布式模式作为单个Java进程运行。这对于调试很有用。下面的示例复制解压缩的conf目录以用作输入，然后查找并显示给定正则表达式的每个匹配项。输出被写入给定的输出目录。案例之grepcd /opt/soft/hadoopmkdir inputcp etc/hadoop/*.xml input# 运行一个jar，查找bin/hadoop
2020-12-02 15:45:38
490
原创 Hadoop入门系列(2)-安装Hadoop
安装JDK1.8# 查询yum search java|grep jdk# 安装yum install -y java-1.8.0-openjdk# 查看版本java -version单节点安装下载源码mkdir -p /opt/softcd /opt/soft# 安装wgetyum install -y wget# 下载源码wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.1.4/hadoop-
2020-12-02 14:48:23
200
原创 Hadoop入门系列(1)-简介
简介Apache Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。库本身不依赖于硬件来提供高可用性，而是被设计用来检测和处理应用程序层的故障，因此可以在计算机集群的顶部提供高可用性服务，而每台计算机都容易出现故障。Hadoop主要解决海量数据存储和分析计算。结构Hadoop Common：支持其他Hadoop模块的通用实用程序。Hadoop分布式文件系统（HDFS™）：一种分布式
2020-12-01 10:55:46
411
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人