- 博客(369)
- 收藏
- 关注
RSS订阅原创 CDH登录后显示【无法发出查询：Host Monitor 未运行】解决办法
CDH登录后显示【无法发出查询：Host Monitor 未运行】解决办法现象：CDH登录后显示【无法发出查询：Host Monitor 未运行】出现问题后，首先检查日志：2018-06-01 11:58:00,001 INFO 618348787@agentServer-2579:com.cloudera.server.common.MonitoringThreadPool: ag...
2023-09-04 09:37:00
342
原创 CDH集群之YARN性能调优
CDH集群之YARN性能调优本文主要讨论CDH集群的YARN调优配置，关于YARN的调优配置，主要关注CPU和内存的调优，其中CPU是指物理CPU个数乘以CPU核数，即Vcores = CPU数量*CPU核数。YARN是以container容器的形式封装资源的，task在container内部执行。集群配置集群的配置主要包括三步，第一是先规划集群的工作主机以及每台主机的配置，第二是规划...
2023-08-17 19:22:00
227
原创 Linux根目录扩容--两篇
Linux根目录扩容--两篇1.命令汇总// 首先查看根目录大小# df -h /// 查看磁盘与挂载情况，可以看到磁盘的文件系统。# lsblk# lsblk -f// 查看磁盘详细信息# fdisk -1// 对/dev/vda磁盘进行分区# fdisk /dev/vda // m帮助命令 Command(m for help) :m // n添加新的分区 Com...
2023-07-26 19:23:00
637
原创 基于CDH环境下的Hive数仓配置及优化
基于CDH环境下的Hive数仓配置及优化原文连接地址：https://blog.csdn.net/sinat_31854967/article/details/127274575YARN的基础配置NodeManager CPU配置在YARN界面中，点击配置，然后搜索配置项：yarn.nodemanager.resource.cpu-vcores此选项表示该节点服务器上yarn...
2023-07-12 10:08:00
122
原创 sqoop参数问题
sqoop参数问题sqoop import 命令常用参数表1.常用参数参数 描述–connect 指定JDBC连接字符串–connection-manager 指定要使用的连接管理器类–driver 手动指定要使用的JDBC驱动程序类–hadoop-mapred-home 覆写$ HADOOP_MAPRED_HOME–help 打印使用说明–password-file 设置包含...
2023-07-12 09:53:00
55
原创 解决root用户对HDFS文件系统没有权限的问题
解决root用户对HDFS文件系统没有权限的问题说明：HDFS文件系统的目录基本都属于 supergroup 超级用户组，所以就把用户添加到该用户组，即可解决很多权限问题。第一步：在Linux执行如下命令增加 supergroup 用户组groupadd supergroup第二步：然后将用户root增加到supergroup用户组中usermod -a -G supergr...
2023-07-12 09:38:00
600
原创 搭建CDH后，hdfs的权限问题设置
搭建CDH后，hdfs的权限问题问题描述：搭建cdh集群后，在hdfs中创建文件报错：Permission denied: user=root, access=WRITE, inode=“/“:hdfs:supergroup:drwxr-xr-x即使使用root账户也是一样。无论是用sudo hadoop dfs -mkdir 建立文件 还是 put文件，都会显示，同样的错误！！经过百...
2023-07-08 09:30:00
233
原创 部署集群出现问题总结
部署集群出现问题总结1，未在已配置的存储库中找到任何parcel在装cdh的时候遇到了问题，配置完parcel存储库以后页面提示：未在已配置的存储库中找到任何 parcel。尝试在更多选项下添加一个自定义存储库。否则，您可能只能继续使用包默认的parcel存储库目录是cd /opt/cloudera/parcels，发现这个目录是空的,切换到安装包目录，cp CDH-6.3.2-...
2023-07-07 12:38:00
44
原创 配置多台服务器之间免密登录（实操）
配置多台服务器之间免密登录(实操)1.准备三台云服务器或虚拟机，我这里用的是华为云服务器2.在所有主机上创建ssh目录并赋予权限3.所有主机生成公钥与私钥，进入用户目录，执行以下命令：生成ssh密码，-t 参数表示生成算法，可以选择rsa和dsa；-P表示使用的密码，""表示无密码4.将第一台主机A上生成公钥追加到authorized_keys文件中5.接下来将B和C的id_r...
2023-05-20 00:22:00
341
1
原创 linux挂载硬盘实操
1.linux挂载新增硬盘--重点在后半截linux挂载硬盘实操我要挂载的硬盘为sda1，首先将硬盘插上。1 查看硬盘使用检测硬盘命令：lsblk看到 sda1 存在。然后使用查看硬盘命令：df -h如果只是插上硬盘而无其他操作，则看不到要挂载的硬盘sda1。2 挂载格式化硬盘 sda1 ：sudo mkfs -t ext4 /dev/sda1创建挂载目录 dat...
2023-05-18 13:08:00
25
原创 第 17 章大数据定制篇-Shell 编程
第 17 章大数据定制篇-Shell 编程目录第 17 章大数据定制篇-Shell 编程17.1 为什么要学习Shell 编程17.2 Shell 是什么17.3 Shell 脚本的执行方式17.3.1 脚本格式要求17.3.2 编写第一个Shell 脚本17.3.3 脚本的常用执行方式17.4 Shell 的变量17.4.1 Shell 变量介绍174.2 shell 变量的定义17.4.3...
2023-04-16 23:27:00
44
原创 第 14 章Linux 实操篇-进程管理(重点)
第 14 章Linux 实操篇-进程管理(重点)目录第 14 章Linux 实操篇-进程管理(重点)14.1 基本介绍14.2 显示系统执行的进程14.2.1 基本介绍14.2.2 ps 详解14.2.3 应用实例14.1 终止进程kill 和 killall14.3.1 介绍:14.3.2 基本语法14.3.3 常用选项14.3.4 最佳实践14.5 服务(service)管理14.5.1 ...
2023-04-16 23:01:00
62
原创 第 12 章Linux 实操篇-网络配置
第 12 章Linux 实操篇-网络配置目录第 12 章Linux 实操篇-网络配置13.1 Linux 网络配置原理图13.1.1 画出原理图，帮助理解13.2 查看网络IP 和网关13.2.1 查看虚拟网络编辑器和修改IP 地址13.2.2 查看网关13.3 查看 windows 环境的中 VMnet8 网络配置 (ipconfig 指令)13.4 查看 linux 的网络配置 ifcon...
2023-04-16 22:34:00
28
原创 第 12 章Linux 实操篇-Linux 磁盘分区、挂载
第 12 章Linux 实操篇-Linux 磁盘分区、挂载12.1 Linux 分区12.1.1 原理介绍\1) Linux 来说无论有几个分区，分给哪一目录使用，它归根结底就只有一个根目录，一个独立且唯一的文件结构 , Linux中每个分区都是用来组成整个文件系统的一部分。\2) Linux 采用了一种叫“载入”的处理方法，它的整个文件系统中包含了一整套的文件和目录，且将一个分区和一...
2023-04-16 22:16:00
42
原创 第 11 章Linux 实操篇-定时任务调度
第 11 章Linux 实操篇-定时任务调度11.1 crond 任务调度crontab 进行 定时任务的设置11.1.1 概述任务调度：是指系统在某个时间执行的特定的命令或程序。任务调度分类：1.系统工作：有些重要的工作必须周而复始地执行。如病毒扫描等个别用户工作：个别用户可能希望执行某些程序，比如对 mysql 数据库的备份。示意图11.1.2 基本语法cronta...
2023-04-08 16:01:00
37
原创 第 10 章Linux 实操篇-组管理和权限管理
第 10 章Linux 实操篇-组管理和权限管理10.1 Linux 组基本介绍在 linux 中的每个用户必须属于一个组，不能独立于组外。在 linux 中每个文件有所有者、所在组、其它组的概念。1)所有者2)所在组3)其它组4)改变用户所在的组10.2 文件/目录 所有者一般为文件的创建者,谁创建了该文件，就自然的成为该文件的所有者。10.2.1 查看文件的所有者...
2023-04-08 15:51:00
36
原创 第 9 章 Linux 实操篇-实用指令
第 9 章 Linux 实操篇-实用指令目录第 9 章 Linux 实操篇-实用指令9.1 指定运行级别9.1.1 基本介绍9.1.2 应用实例9.1.3 CentOS7 后运行级别说明9.2 帮助指令9.2.1 man 获得帮助信息9.2.2 help 指令9.2.3 应用实例9.3 文件目录类9.3.1 pwd 指令9.3.2 ls 指令9.3.3 cd 指令9.3.4 mkdir 指令9...
2023-04-08 15:05:00
38
原创 第 7 -8章 Linux 实操篇-开机、重启和用户登录注销-8.用户管理
第 7 -8章 Linux 实操篇-开机、重启和用户登录注销-8.用户管理目录第 7 -8章 Linux 实操篇-开机、重启和用户登录注销-8.用户管理7.1 关机&重启命令7.1.1 基本介绍7.1.2 注意细节7.2 用户登录和注销7.2.1 基本介绍7.2.2 使用细节第 8 章 Linux 实操篇-用户管理8.1 基本介绍8.2 添加用户8.2.1 基本语法8.2.2 应用案例...
2023-04-08 14:13:00
74
原创 第 6 章 Linux 实操篇- Vi 和 Vim 编辑器
第 6 章 Linux 实操篇- Vi 和 Vim 编辑器6.1 vi 和 vim 的基本介绍Linux 系统会内置 vi 文本编辑器Vim 具有程序编辑的能力，可以看做是 Vi 的增强版本，可以主动的以字体颜色辨别语法的正确性，方便程序设计。代码补完、编译及错误跳转等方便编程的功能特别丰富，在程序员中被广泛使用。6.2 vi 和 vim 常用的三种模式6.2.1 正常模式以...
2023-04-08 13:47:00
27
原创 第 4-5 章 Linux 4基础篇-目录结构-5远程登录到 Linux 服务器
第 4-5 章 Linux 4基础篇-目录结构-5远程登录到 Linux 服务器4.1 Linux 目录结构4.1.1 基本介绍1)linux 的文件系统是采用级层式的树状目录结构，在此结构中的最上层是根目录“/”，然后在此目录下再创建其他的目录。2)深刻理解 linux 树状文件目录是非常重要的，这里我给大家说明一下。3)记住一句经典的话：在 Linux 世界里，一切皆文件(!!)...
2023-04-08 13:08:00
24
原创 第 3 章 Linux 基础篇- VM 和 Linux 的安装
第 3 章 Linux 基础篇- VM 和 Linux 的安装3.1 安装 vm 和 Centos3.1.1基本说明学习 Linux 需要一个环境，我们需要创建一个虚拟机，然后在虚拟机上安装一个 Centos 系统来学习1.先安装 virtual machine 15.52.再安装 Linux (CentOS 7.6/centOS8.1)3.原理示意图 [画]3.1.2vmw...
2023-04-08 12:53:00
24
原创 第 2 章 Linux 基础篇-Linux 入门
第 2 章 Linux 基础篇-Linux 入门2.1 Linux 介绍2.1.1概述\1. linux 怎么读， 不下 10 种\2. linux 是一个开源、免费的操作系统，其稳定性、安全性、处理多并发已经得到业界的认可，目前很多企业级的项目(c/c++/php/python/java/go)都会部署到 Linux/unix 系统上。\3. 常见的操作系统(windows、IO...
2023-04-08 12:42:00
30
原创 第 1 章 Linux 开山篇-内容介绍
第 1 章 Linux 开山篇-内容介绍1.1 本套 Linux 课程内容1.2 Linux 使用在那些地方1.3Linux 的应用领域个人桌面领域的应用此领域是传统 linux 应用薄弱的环节，近些年来随着 ubuntu、fedora [fɪˈdɔ:rə] 等优秀桌面环境的兴起，linux 在个人桌面领域的占有率在逐渐的提高。1.4服务器领域linux 在服务器领...
2023-04-08 12:37:00
22
原创 Elasticsearch 学习-面试题目
Elasticsearch 学习-面试题目第 7 章 Elasticsearch 面试题7.1 为什么要使用 Elasticsearch?系统中的数据，随着业务的发展，时间的推移，将会非常多，而业务中往往采用模糊查询进行数据的搜索，而模糊查询会导致查询引擎放弃索引，导致系统查询数据时都是全表扫描，在百万级别的数据库中，查询效率是非常低下的，而我们使用 ES 做一个全文索引，将经常查询的系...
2023-04-02 15:23:00
26
原创 Elasticsearch 学习-Elasticsearch优化,硬件选择，分片策略，写入优化，内存设置，重要配置...
Elasticsearch 学习-Elasticsearch 优化,硬件选择，分片策略，写入优化，内存设置，重要配置6.1 硬件选择Elasticsearch 的基础是 Lucene，所有的索引和文档数据是存储在本地的磁盘中，具体的路径可在 ES 的配置文件../config/elasticsearch.yml 中配置，如下：#-----------------------------...
2023-04-02 15:06:00
87
原创 Elasticsearch 学习- 分片原理，倒排索引，文档搜索，文档分析，内置分析器，指定分词器，IK分词器...
Elasticsearch 学习- 分片原理4.6 分片原理 分片是 Elasticsearch 最小的工作单元。但是究竟什么是一个分片，它是如何工作的？ 传统的数据库每个字段存储单个值，但这对全文检索并不够。文本字段中的每个单词需要被搜索，对数据库意味着需要单个字段有索引多值的能力。最好的支持是一个字段多个值需求的数据结构是倒排索引。4.6.1 倒排索引 Elast...
2023-04-02 14:56:00
23
原创 Elasticsearch 学习-Elasticsearch进阶-索引，文档，字段，映射，分片，副本，分配，系统架构，分片控制，多文档操作...
Elasticsearch 学习-Elasticsearch 进阶4.1 核心概念4.1.1 索引( Index ) 一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母)，并且当我们要对这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在...
2023-04-02 14:33:00
37
原创 Elasticsearch 学习-Linux单机和集群安装
Elasticsearch 学习-Linux 单机和集群安装3.3linux集群安装3.3.1 软件下载软件下载地址：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-03.3.2 软件安装1) 解压软件将下载的软件解压缩# 解压缩tar -zxvf elasticsearch-7.8....
2023-04-02 13:17:00
19
原创 Elasticsearch 学习-windows上搭建集群
Elasticsearch 学习-windows上搭建集群目录Elasticsearch 学习-windows上搭建集群3.1 相关概念3.1.1 单机****& 集群3.1.2 集群 Cluster3.2 Windows 集群3.2.1 部署集群3.2.2 启动集群3.2.3 测试集群3.1 相关概念3.1.1 单机****& 集群单台Elasticsearch服务器提...
2023-03-27 00:33:00
99
原创 Elasticsearch 学习-javaAPI操作
Elasticsearch 学习-javaAPI操作目录Elasticsearch 学习-javaAPI操作2.2.5.1 创建 Maven 项目1.修改pom文件，增买家Maven依赖关系2.2.5.2 客户端对象2.2.5.3 索引操作1.增加索引2.删除索引3.搜索索引2.2.5.4 文档操作1.新增文档2) 修改文档3) 查询文档4) 删除文档2.2.5.5 高级查询Elasticse...
2023-03-27 00:21:00
17
原创 Elasticsearch 学习--高级查询
Elasticsearch 学习--高级查询目录Elasticsearch 学习--高级查询2.2.4.4 高级查询1) 查询所有文档2) 匹配查询3) 字段匹配查询4) 关键字精确查询5) 多关键字精确查询6) 指定查询字段7) 过滤字段8) 组合查询9) 范围查询10) 模糊查询11) 单字段排序12) 多字段排序13) 高亮查询14) 分页查询15) 聚合查询16) 桶聚合查询2.2.4...
2023-03-27 00:08:00
18
原创 Elasticsearch 学习--索引操作，文档操作，映射操作
Elasticsearch 学习--索引操作，文档操作，映射操作目录Elasticsearch 学习--索引操作，文档操作，映射操作2.2.4 HTTP 操作2.2.4.1 索引操作1) 创建索引2) 查看所有索引3) 查看单个索引4) 删除索引2.2.4.2 文档操作1)新建文档2) 查看文档3) 修改文档4) 修改字段5) 删除文档6) 条件删除文档2.2.4.3 映射操作1) 创建映射2...
2023-03-26 23:34:00
21
原创 Elasticsearch 学习--安装（windows版本）,基本操作（使用Postman）
Elasticsearch 学习--安装(windows版本),基本操作(使用Postman)2.1 Elasticsearch 安装2.1.1 下载软件Elasticsearch 的官方地址：https://www.elastic.co/cn/Elasticsearch 最新的版本是 7.11.2(截止 2021.3.10)，我们选择 7.8.0 版本(最新版本半年前的版本)下载...
2023-03-26 22:42:00
43
原创 Elasticsearch 学习--简介，概述，同类型产品，应用案例
Elasticsearch 学习--简介，概述，同类型产品，应用案例第 1 章 Elasticsearch 概述1.1 Elasticsearch 是什么The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash(也称为 ELK Stack)。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化...
2023-03-26 22:18:00
23
原创 第5章 函数式编程**-函数和方法，高阶函数，匿名函数，函数柯里化，闭包，递归，控制抽象（传值参数，传名参数），惰性加载...
第 5 章 函数式编程-函数和方法，高阶函数，匿名函数，函数柯里化，闭包，递归，控制抽象(传值参数，传名参数)，惰性加载目录第 5 章 函数式编程-函数和方法，高阶函数，匿名函数，函数柯里化，闭包，递归，控制抽象(传值参数，传名参数)，惰性加载5.1 函数基础5.1.1 函数基本语法5.1.2 函数和方法的区别5.1.3 函数定义5.1.4 函数参数5.1.5 函数至简原则(重点)5.2 函数...
2023-02-14 23:07:00
1156
原创 第4章 流程控制-if-else,Switch,For循环（循环守卫，循环步长，倒叙打印），While循环，多重循环...
第 4 章 流程控制-if-else,Switch,For循环(循环守卫，循环步长，倒叙打印)，While循环，多重循环4.1 分支控制 if-else让程序有选择的的执行，分支控制有三种：单分支、双分支、多分支4.1.1 单分支1)基本语法if (条件表达式) {执行代码块}说明：当条件表达式为 ture 时，就会执行{ }的代码。2)案例实操object Test...
2023-02-12 22:39:00
322
原创 第3章-运算符-算数运算符，关系运算符，逻辑运算符，赋值运算符，位运算符，scala运算符的本质...
第 3章-运算符Scala 运算符的使用和 Java 运算符的使用基本相同，只有个别细节上不同。3.1 算术运算符1)基本语法(1)对于除号“/”，它的整数除和小数除是有区别的：整数之间做除法时，只保留整数部分而舍弃小数部分。(2)对一个数取模 a%b，和 Java 的取模规则一样。2)案例实操object TestArithmetic { def main(args: ...
2023-02-12 21:48:00
224
原创 第2章 数据类型-整数，浮点，布尔，Unit，类型转换(自动，强制)，数值类型和String类型的准换...
第 2 章 数据类型-整数，浮点，布尔，Unit，类型转换(自动，强制)，数值类型和String类型的准换文件读取package chapter02import java.io.{File, PrintWriter}import scala.io.Sourceobject Test06_FileIO { def main(args: Array[String]): Unit =...
2023-02-12 21:34:00
346
原创 第2章-变量字符串输出，键盘输入
第 2 章 变量字符串输出，键盘输入2.1 注释Scala 注释使用和 Java 完全一样注释是一个程序员必须要具有的良好编程习惯。将自己的思想通过注释先整理出来，再用代码去体现。1)基本语法(1)单行注释：//(2)多行注释：/* */(3)文档注释：/** **/2)案例实操package com.atguigu.chapter02object ...
2023-02-12 20:47:00
160
原创 第一章-scala入门
第 1 章 Scala 入门1.1 概述1.1.1 为什么学习 Scala1 ) Spark— 新一代内存级大数据计算框架，是大数据的重要内容。2)Spark就是使用Scala编写的。因此为了更好的学习 Spark, 需要掌握 Scala 这门语言。3 ) Spark 的兴起，带动 Scala 语言的发展！1.1.2 Scala 发展历史联邦理工学院的马丁·奥德斯基(Martin ...
2023-02-12 20:29:00
387
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人