- 博客(23)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Tez执行MR任务时报错
事情是这样的问题我在执行DWS层命令dws_load_member_start.sh 2020-07-21时，报错了，这是所有的报错信息which: no hbase in (:/opt/install/jdk1.8.0_231/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/install/hadoop-2.9.2/bin:/opt/install/hadoop-2.9.2/sbin:/opt/install/flume-1.9.
2021-10-14 22:18:52
736
原创 大数据技术栈环境搭建-Hive
Hive安装配置和使用集群规划hadoop1hadoop2hadoop3hadoop4hadoop5Hive√√√MySQL√Hive安装与配置Hive的元数据需要持久化到另一个地方，通常我们将其持久化到MySQL，所以在给我们的服务器安装Hive之前，需要确保已经存在安装了MySQL的服务器节点，然后我们将Hive的元数据初始化到该MySQL中，因此，安装Hive的前提条件是集群环境有MySQL。如果没有，按以下步骤一次过：准备安装文件
2021-06-27 20:41:36
200
2
原创 大数据技术栈环境搭建-Flume
文章内容输出来源：拉勾教育大数据开发高薪训练营集群规划hadoop1hadoop2hadoop3hadoop4hadoop5Flume√Flume安装与配置前提条件每台机器都具备jdk环境，下述操作的jdk路径为/opt/install/jdk1.8.0_231准备安装文件本篇需要的文件有：flume-1.9.0 压缩包 百度网盘-提取码：8848 上传apache-flume-1.9.0-bin.tar.gz到hadoop2的/opt/sof
2021-06-27 20:13:42
219
原创 大数据技术栈环境搭建-Hadoop集群
文章内容输出来源：拉勾教育大数据开发高薪训练营集群规划HDFS组件:NN+2NN+DNYarn组件:RM+NMhadoop1hadoop2hadoop3hadoop4hadoop5NameNode（NN）√SecondaryNameNode（2NN）√DataNode（DN）√√√√√ResourceManager（RM）√NodeManager（NM）√√√√√前提条件每台机器都具备jdk
2021-06-27 20:09:46
152
原创 我的大数据学习知录(2)-初识HDFS
学习大数据技术的直接目的是解决大数据环境下的问题，或者说是为了处理集群中的数据，要处理数据，就得先有数据并获取到数据，那么在集群中，数据存在哪？我们应该去哪里获取？问题的答案就是HDFS。1️⃣HDFS的定义和设计HDFS是Hadoop Distributed File System，即Hadoop分布式文件系统的简称，讲完。????啥？就这？????对，没有必要扯太多太学术的东西，我又不是来背诵概念的????但面试我总得跟面试官掰扯掰扯啊????啊这，那就再扯巴扯巴定义当数据集的大小超过
2021-06-05 18:40:24
287
5
原创 我的大数据学习知录(1)-Hadoop
在上一篇我对大数据做了简单的介绍，引出了本篇的主角——Hadoop——一个适合大数据的分布式存储和计算平台，本篇就来唠唠它。1️⃣什么是Hadoop前文不止一次地介绍说：Hadoop是一个适合大数据的分布式存储和计算平台。它怎么就适合了？对于Hadoop我从狭义和广义去理解它。狭义上，Hadoop专指Apache Hadoop项目。Apache是个软件基金会，这个基金会可牛大了，凡它出品，必属精品，Hadoop项目就是其中之一，它开发了一系列可靠、可扩展的分布式计算的开源软件。官网对其的介绍如下
2021-05-28 00:11:08
311
4
原创 我的大数据学习知录(0)
????这是一个文章系列的先导1️⃣关于标题首先，标题很直白，这篇文章与大数据学习有关，而实际上这将会是系列文章，本篇是整个系列的先导。其次，***“学习知录”***并不是“学习之路”的错写。比起将一步步学习看作是在走一条长长的路并将其记载下来，我更倾向于将学习的过程理解为“不知➡️了解➡️熟悉➡️掌握➡️怀疑自不知”的螺旋向上、不断摸索的求知过程，引用我的学习榜样敖丙的座右铭——你知道的越多，你不知道的越多，标题的“知”表达的就是这层意思，录就是记录的意思了，系列记录的是大数据技术求知的文章，文章不
2021-05-25 21:22:49
152
原创 test emoji
People:bowtie:????:simple_smile:????????????☺️????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????:n
2021-05-25 21:20:05
87
原创 分布式理论(4)·有副本才有高可用
前言在上一篇文章我们讨论了单机运算能力不足的问题，了解了分布式系统也是基于分治思想来实现运算分布式化，达到提高系统整体算力的最终目标。分布式系统的出现弥补了集中式系统在运算和存储方面存在的不足，做到了集中式系统不方便实现甚至做不到的事，但是有一件事是包括分布式系统在内的所有系统都可能遇到的，那就是宕机。让分布式系统保证不宕机则是本篇的主题。这是系列文章的第四篇，讨论分布式系统如何达到高可用的目标。分布式系统具有的扩展性提升了系统整体算力和存储能力，解决了这两个核心问题后要考虑的就是如何让系统平稳地运行下
2020-07-28 07:42:37
426
1
原创 分布式理论(3)·运算分布式化
前言在上一篇文章我们知道了单机存不下数据的主要原因是文件数量太多，最终也知道了存储分布式化是基于分治思想实现的，解决了单台机器存储能力有限的问题，我们本篇就来聊聊分布式系统要解决的另一个主要问题：单台机器运算能力不足。这是系列文章的第三篇，阐述分布式系统如何将运算分布式化。在本系列文章开篇中提到，我们提高机器算力的最初方案是将运算并行化：多线程->多进程->多协程，只不过这种并行方案只能作用在单台机器上，对算力的提升有限，在任务量足够大的情况下依然会把单台机器压垮，于是我们就采用分布式系统，
2020-07-28 07:41:16
222
原创 分布式理论(2)·存储分布式化
前言笔者在上一篇文章对分布式系统的概念和来由做了通俗简单的阐述，并挑出了分布式系统致力解决的两个主要问题：单台机器运算能力不足单台机器存储能力有限这是系列文章的第二篇，阐述分布式系统如何将存储分布式化。为什么要先讨论单台机器存储能力有限的问题呢？举个可能不是特别恰当但能说明问题的例子：我们多个人一起吃饭的时候，是每个人都将饭盛到各自的碗里再吃，而不是大家一起直接拿着筷子从锅里夹着吃。机器要运算也一样，数据得先拿到本机上才能进行运算。为什么会存不下在讨论怎么将数据分散开存储，达成存储分布式化
2020-07-28 07:39:58
172
原创 分布式理论(1)·分布式开始的地方
前言笔者第一次听说“分布式”时是在大二的时候，当时觉得这个概念听上去很高大上，涉足其中的人肯定都是大神吧。对于分布式，笔者一方面对它的“声名”抱着“敬”的态度，另一方面又对实践它抱着“远之”的态度，原因很简单：畏惧未知。但凡是有技术追求的程序猿，都应该有不甘于日夜CRUD的心，于是某天笔者开始涉足分布式，辗转数轮的学习后蓦然回首，决定以分布式理论为题，分享一波学习心得。若非急于投入使用，笔者对每一项技术的学习都要从WWH（What(是啥)、Why(为啥)、How(咋搞)）三方面去入手，了解概念及由来，
2020-07-27 22:28:08
184
原创 MySQL带时间字段的范围查询不走索引了？
文章内容输出来源：拉勾教育Java高薪训练营。今天群里抛出了个乍看之下很迷的问题：看到问题的第一瞬间，我想这是什么原理，比较方向的修改就能引起索引失效了？于是我自己先试了一下。环境：MySQL 5.7.251. 创建测试表我先整了个32万行记录的表test_user，表中仅有两个字段：id和创建时间：CREATE TABLE `test_memory` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键id', `create_ti
2020-07-10 16:28:00
23039
5
原创 来聊聊Java的SPI机制吧
今天来聊聊Java中一个机制——SPI。“你是不是因为键盘上的A和S相邻而打错字了？”并不是，SPI和API有关系，但确实是两种不一样的东西。What & WhySPI（Service Provider Interface），是JDK内置的一种服务提供发现机制，Java的SPI机制可以为某个接口寻找服务实现，这一机制的主要思想是将装配的控制权移到程序之外，核心目的是解耦。这是对SPI的很抽象的定义，光看这一句应该看不懂，以下慢慢分析。在OOP设计里，我们一般推荐模块之间基于接口编程，模块
2020-05-29 11:35:13
259
原创 了解一点·分布式调度
分布式调度可以被理解为在分布式环境下执行定时任务。那么要先理解一下“定时任务”。定时任务的使用场景何为定时任务？定时任务就是在某一时刻或者每隔一定时间去执行的任务。比如XX游戏在本赛季末的周日要统计用户上个赛季的积分等信息、XX相册要每个月清空一次回收箱、XX系统要每周生成销售报表、使用某宝购物，下单15分钟内不付款会自动取消订单等。上述任务都是有规律的，因此我们可以编写脚本来设置定时做这些...
2020-05-07 22:24:30
982
原创 MySQL生成测试数据相关脚本（持续更新）
生成随机手机号码函数：generateRandomPhone()手机号前三位：132,133,139,183,186,187,130,131,189,151,156,157,176,134,135,137,138,136,000使用示例：select generateRandomPhone()返回随机手机号码drop FUNCTION if exists generateRandomPho...
2020-05-07 13:02:50
691
原创 了解一点·一致性Hash问题及解决方案
提出需求随便给定一个数，判断其是否存在于数据集public int[] datas = new int[]{1, 5, 6, 3, 8, 2, 7};中。普通方法这个需求一听就很简单，基本上不需要思考就可以敲代码/** * 顺序查找法 */@Testpublic void SequentialSearch() { int n1 = 2;//给定一个存在于数据集中的数 ...
2020-05-03 13:55:09
589
原创 SpringBoot来玩缓存（二）——看原理
前言 在系统中使用了缓存达到相同的请求只向数据库发出一次请求的效果，那缓存在底层是怎么实现的呢？项目链接：https://github.com/LambertCOL/my-springboot-cache-redis-demo1. 找官网还是按自己的习惯，有技术上的问题，先上对应的官网看看有没有相关的信息，这里记录一下自己的操作。我是在SpringBoot项目上使用缓存，所以到Sp...
2020-04-21 22:05:00
245
原创 SpringBoot来玩缓存（一）——看效果
前言Spring框架支持透明地向应用程序添加缓存对缓存进行管理,其管理缓存的核心是将缓存应用于操作数据的方法，从而减少操作数据的执行次数，同时不会对程序本身造成任何干扰。Spring Boot继承了 Spring框架的缓存管理功能，通过使用@EnableCaching注解开启基于注解的缓存支持, SpringBoot就可以启动缓存管理的自动化配置。项目链接：https://github.c...
2020-04-21 21:36:34
207
原创 手写IOC_事务_AOP
准备工作初始项目：my-spring-ioc-aop-trans-init（供需要动手敲代码的朋友使用）初始目录结构图新建名为bank的数据库，运行sql.sql建表建数据用IDEA打开本项目，在maven窗口展开my-spring-ioc-aop-trans/Plugins/tomcat7，双击tomcat7:run即可通过localhost:8080访问输入金额即可实现...
2020-04-04 01:53:58
314
原创 【C2】在HTML中使用JavaScript
在最初开发JavaScript时，其中一个重要问题就是如何在不破坏原有HTML的基础上实现JavaScript，经过前人的不断努力和尝试，最终的决定就是为Web添加统一的脚本支持。
2017-12-17 13:39:30
393
原创 【概念集锦】
本博初衷在学习过程中，我们不免会遇到一些陌生或难以理解的概念，我认为理解概念是非常重要的，当一个概念的概念层面都难以跨越，我们在后继的学习便会进行得不尽顺利。因此，本博收录博主学习过程中遇到过的陌生或难以理解的概念并持续更新，希望同样能帮到阅读这篇博客的同学，也请老手路过时不吝赐教。
2017-12-17 10:16:44
253
原创 【C1】JavaScript是什么
1997年，JavaScript1.1被作为草案提交给欧洲计算机制造协会（ECMA），来自Netscape、Sun、Microsoft等其他对脚本编程感兴趣的公司的程序员组成的第39技术委员会（TC39）被委派去“标准化一个通用、跨平台、中立于厂商的脚本语言的语法和语义”，标准化的最终成果为ECMA-262，该标准定义了叫做ECMAScript的全新脚本语言。
2017-12-14 21:01:19
391
空空如也
请教kafka-eagle的邮件告警配置
2021-12-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人