- 博客(35)
- 收藏
- 关注
RSS订阅原创 hadoop命令无法关闭集群
yarn启动时候会把进程号写在一个.pid文件里，这个文件默认是在/tmp下，但是/tmp下都是个零时文件，随时可能会被清除，所以一旦文件.pid文件被清除，当我们再调用关闭脚本的时候，脚本就找不到对应的进程号了，导致组件关闭失败，并且无任何提示。这个办法使用jps得到的进程号，写在/tmp路径下，但是无法避免文件再次被删的命运。如有问题可+Q：1602701980 共同探讨。重启集群，这样就搞定啦。
2023-12-20 13:19:42
589
原创 Ranger安装和使用
使用root在hdfs上创建一个文件夹rangertest，并且用root用户上传一个文件到该文件夹下，切换为zion用户去查看数据，可以查看，上传文件到改文件夹下，失败！注意：ranger2.0需要用python2执行，RHEL9自带python3.9，所以需要自己安装python2。将hive的配置文件作为软连接安装到 Ranger Hive-plugin 目录下。为zion用户配置dd库student表的读的权限。注意 过滤条件中的字段必须是当前用户有权限查看的。切换zion用户，并查看文件内容。
2023-11-30 11:41:29
902
原创 linux下磁盘分区、挂载实操
本文通过图问结合的方式对磁盘实操进行了详细演示，让您通过一篇文章轻松搞定linux磁盘分区、格式化磁盘和磁盘挂载等问题
2023-11-23 16:41:41
1696
原创 离线状态下Oracle安装所需依赖（oel镜像中有，需要将oel镜像做成yum源）
【代码】离线状态下Oracle安装所需依赖（oel镜像中有，需要将oel镜像做成yum源）
2023-07-07 17:10:19
505
原创 彻底卸载CM
删除 /usr/bin/ 下相关文件。#删除 /var 下相关文件。#删除 /opt 下相关文件。#删除Hadoop相关文件。#删除 etc 下相关文件。#删除kafka相关文件。
2023-07-06 09:03:03
115
原创 求指定年份到当前年份的所有时间段 cte
求指定年份到当前年份的所有时间段，本需求主要依靠公用表达(CTE)结合sql递归(recursive)来实现的，本质是sql的在查询条件范围之内的反复调用，所以第一个要注意的是要注意recursive关键字不要遗漏，第二就是“递归元素”不能遗漏。
2022-09-30 16:16:27
388
原创 join的七种情况
1.取A和B交集2.取A的全部&B与A有交集B的部分3.取B的全部&A与B有交集B的部分4.取A和B的全部5.取A中不与B相交的部分6.取B中不与A相交的部分7.取A、B中各自不想交的部分
2022-07-13 08:35:06
209
原创 java 统一异常捕获
1.统一异常捕获类package com.fanbuer.exception;import com.google.common.collect.ImmutableMap;import com.fanbuer.entity.CommonCode;import com.fanbuer.entity.Result;import com.fanbuer.entity.ResultCode;import org.slf4j.Logger;import org.slf4j.LoggerFactory;
2021-08-18 16:57:28
592
原创 随笔记录
1.关闭防火墙systemctl stop firewalld.service 关闭systemctl disable firewalld.service 禁用2.关闭SELINUX2.1 零时关闭（不建议使用）[root@fan102 ~]# setenforce 0但是这种方式只对当次启动有效，重启机器后会失效。2.2 永久关闭（建议使用）2.2.1 修改配置文件/etc/selinux/config[root@fan102 ~]# vim ...
2021-03-22 09:37:53
164
原创 CM常见异常处理
异常1错误信息：Cloudera Manager Agent 的 Parcel 目录位于可用空间小于 10.0 吉字节 的文件系统上。 /opt/cloudera/parcels（可用：8.4 吉字节 (16.86%)，容量：50.0 吉字节）处理[root@fan102 ~]# cd /var/log[root@fan102 ~]# find ./ -type f -size +100M -name "*log*" -print0 | xargs -0 rm -rf...
2021-02-01 09:33:03
941
2
原创 git命令
随便写写# 查看分支[root@fan102 ~]# git branch# 拉取代码[root@fan102 ~]# git clone 地址 [别名]# 添加[root@fan102 ~]# git add test.java# 添加本地仓库[root@fan102 ~]# git commit -m “提交说明” test.java# 推送到git仓库[root@fan102 ~]# git push test.java# 拉取git仓库中文件[root@fan102 ~
2021-01-01 09:37:12
92
原创 FTP同步日志数据脚本
准备：1.日志源目录：172.16.1.103:/usr/logdata/url/2.日志目标目录：172.16.1.102:/home/zion/url/3.102机器上文件服务器服务端已经安装(教程)4.103机器上文件服务器客户端已安装要求：以下三条缺一不可！！1.在ftp服务端所在机器(102)上，服务器开启SELinux#1 查看SELinux状态，enabled即为开启状态[root@fan102 ~]# getenforce#2 关闭SELinux#2
2020-10-22 11:04:13
413
原创 Linux离线搭建FTP文件服务器
一、下载安装配置1.下载（下载地址）1.1 下载服务端（链接: https://pan.baidu.com/s/19ec7yab3WMsK-gb7Auh-DA 密码: hnom）1.2 下载客户端（链接: https://pan.baidu.com/s/1cqM45TsSem5iGrImCfBhrQ 密码: qglt）2.上传安装包到服务器，放在安装目录，比如/home/ 下3.执行安装命令# fpt服务端安装[root@fan102 ~]# rpm -Uvh vsftpd-..
2020-10-16 16:17:30
4731
原创 大数据集群调优
HDFS场景1：在DataNode开始工作（通电）的时候，会上报本地的数据块给NameNode的客户端进行注册，这时候客户端个数比较关键，如果太少，DataNode在连接NameNode的时候会出现总是超时或者连接被拒绝；如果设置太大，则内存开销会增大，造成不必要的浪费，最终可能导致内存溢出。参数：dfs.namenode.handler.countNameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作，线程池的大小就是根据该参数指定的，默
2020-09-27 15:19:27
452
原创 服务器情况查询命令
#逻辑CPU个数[root@fan102 ~]# cat /proc/cpuinfo | grep "processor" | wc -l64#物理CPU个数[root@fan102 ~]# cat /proc/cpuinfo | grep "cpu cores" | uniqcpu cores : 16#CPU核数[root@fan102 ~]# cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l2...
2020-09-26 14:33:49
296
原创 解决配置完kerberos后，HDFS、YARN的web页面无法访问
HDFSWebUI浏览器认证我们设置CDH支持kerberos后会出现下图所示的情况：这是因为权限问题，按照下面的方式可完美解决1.浏览器配置（Firefox）1.打开火狐浏览器，在地址栏输入：about:config，进入设置页面。2.搜索“network.negotiate-auth.trusted-uris”，修改值为自己的服务器主机名。3搜索“network.auth.use-sspi”，双击将值变为false。2安装kfw1安装提...
2020-09-23 16:23:17
5184
8
原创 jps命令配置（jps: command not found）
jps是java提供查看进程的一个非常方便的小工具，遇到这个问题基本也很好解决第一种，本地使用jps不好使，这个是因为本地没有配置环境变量1.首先使用 which java 产看当前java版本，以下是我的正确查询结果[root@fan102 ~]# which java/usr/java/jdk1.8.0_211/bin/java顺便说一句，这里为什么不用java -version，如果你的linux系统上装了多个版本的java。如果你直接在命令行敲命令 "java -versi..
2020-09-23 11:05:42
15623
原创 安全认证Kerberos的安装与操作
1.在系统偏好设置中停止MySQL服务。2.执行命令以安全模式启动MySQL：cd /usr/local/mysql/binsudo ./mysqld_safe --skip-grant-tables3.新打开一个命令行窗口，在MySQL中执行update mysql.user set authentication_string=PASSWORD('你的密码') where ...
2020-08-21 16:54:16
1645
原创 测试堆空间常用的jvm参数
-XX:+PrintFlagsInitial : 查看所有的参数的默认初始值-XX:+PrintFlagsFinal ：查看所有的参数的最终值（可能会存在修改，不再是初始值） 具体查看某个参数的指令： jps：查看当前运行中的进程 jinfo -flag SurvivorRatio 进程id-Xms：初始堆空间内存 （默认为物理内存的1/64）-Xmx：最大堆空间内存（默认为物理内存的1/4）-Xmn：设置新生代的大小。(初始值.
2020-08-21 10:49:14
162
原创 JVM体系结构之运行时数据区
1.简述Java运行时数据区分PC寄存器/程序计数器严格来说是一个数据结构，用于保存当前正在执行的程序的内存地址，由于Java是支持多线程执行的，所以程序执行的轨迹不可能一直都是线性执行。当有多个线程交叉执行时，被中断的线程的程序当前执行到哪条内存地址必然要保存下来，以便用于被中断的线程恢复执行时再按照被中断时的指令地址继续执行下去。为了线程切换后能恢复到正确的执行位置，每个线程都需要有一个独立的程序计数器，各个线程之间计数器互不影响，独立存储，我们称这类内存区域为“线程私有”的内存,这在.
2020-08-18 13:42:31
113
原创 JVM 加载与启动（双亲委派机制）
class文件被ClassLoader加载到JVM虚拟机同时初始化生成Car Class文件，该文件为Car实例的模板，所有实例创建都是依据该模板创建的。类加载器
2020-08-17 20:21:43
173
原创 三步搞定多数据源配置
1修改 application.yaml 文件spring: datasource: scm: driver-class-name: com.mysql.jdbc.Driver jdbc-url: username: password: sentry: driver-class-name: com.mysql.jdbc.Driver jdbc-url: username: p.
2020-08-05 16:52:59
1078
原创 Spark执行流程（详细）
大体执行流程1.driver执行main方法（懒执行），action算子触发触发job2.根据宽窄依赖划分stage3.每个stage会被整理成taskset(包含多个task)4.每个task分发到具体的Executor去执行完整调度流程1.当Driver启动的时候，初始化时会相应的创建DagScheduler、TaskScheduler2.TaskScheduler初始化的时候，会创建SchedulerBacked(主要负责集群之间的通讯)3.Sc...
2020-08-04 16:44:08
5105
1
原创 查看当前连接Linux的IP [w、awk]
Linux w 命令用于显示目前登入系统的用户信息。执行这项指令可得知目前登入系统的用户有哪些人，以及他们正在执行的程序。1 单独执行 w 指令会显示所有的用户 w[root@fan102 ~]# w14:35:41 up 16 days, 1:03, 4 users, load average: 0.17, 0.45, 0.55USER TTY FROM LOGIN@ IDLE JCPU PCPU WHATroot ..
2020-08-01 17:42:41
813
原创 shell脚本基本语法（本篇中所有案例均可直接运行）
**概念**：Shell 是一个命令行解释器，它为用户提供了一个向 Linux 内核发送请求以便运行程序的界面系统 级程序，用户可以用 Shell 来启动、挂起、停止甚至是编写一些程序.Shell 是一个命令行解释器，它为用户提供了一个向 Linux 内核发送请求以便运行程序的界面系统 级程序，用户可以用 Shell 来启动、挂起、停止甚至是编写一些程序.- **执行方式**- 第一种：1.给编好的shell脚本分配可执行权限（-x）[root@fan102 ~]# sudo chmod 744
2020-07-31 16:49:22
339
原创 shell脚本 集群批量创建、删除 Linux用户、kerberos实体、hdfs用户并校验的脚本
1.创建脚本#! /bin/bash# 参数判断，参数要等于3，否则退出，参数依次为 组名、用户名、密码if [ $# -ne 3 ]then echo "ABNORMAL NUMBER OF PARAMETERS" exit 1fi# Linux 用户和Kerberos 实体都存在则退出A=`grep -w $2 /etc/passwd | wc -l`B=`kadmin.local -q "list_principals" | grep -w $2
2020-07-31 11:44:41
680
原创 CDH下kafka topic 相关问题的探究
前言：fan102对应broker.id=65 ，fan103对应broker.id=67 ，fan104对应broker.id=651 topic , partitions , replication1.1 创建topic# kafka安装目录[root@fan102 kafka]#pwd/opt/cloudera/parcels/KAFKA/lib/kafka# 创建topic主题名：topic_test分区数：3副本数：2[root@fan102 kafka...
2020-07-29 10:20:10
586
原创 CDH下服务的配置文件路径
1依赖CDH安装的服务1.1 基础配置文件路径[root@fan102 lib]# pwd/opt/cloudera/parcels/CDH/lib[root@fan102 lib]# lsavrohadoophadoop-yarnimpalaooziesparkbigtop-tomcathadoop-0.20-mapreducehbaseimpala-shell...
2020-07-28 17:10:55
3592
原创 idea配置ssh远程连接服务器（效率）
1.浏览远程主机 tools -> deployment ->browse remote host2. 与远程主机建立连接3. 效果展示点击idea 编辑器 右边栏remote host4.开启ssh5.效果展示6. 完成以上步骤之后，发布项目将变得非常简单6.1 上传jar到服务器，只需要将打好的jar拖到右边 remote host 对应主机下的文件即可6.2 点击idea 编辑器 下边栏 Terminal ，找到对应主机连接，执行相应..
2020-07-21 14:57:43
5970
3
原创 Linux命令模式实现开启kerberos后hive的sentry权限分配
1. 在Hive集群所有节点创建两个用户reader，writer[root@fan102 ~]# useradd reader[root@fan102 ~]# passwd reader[root@fan102 ~]# useradd writer[root@fan102 ~]# passwd writer2. 使用Sentry管理员用户hive通过beeline客户端连接HiveServer2[root@fan102 ~]# kinit -kt /var/lib/h
2020-07-15 09:46:40
789
原创 java访问配置kerberos后的hive
1.准备1.1 生成主体hive/hive的keytab文件到指定目录/root/hive.keytab[root@fan102 ~]# kadmin.local -q "xst -k /root/hive.keytab hive/hive@HADOOP.COM"1.2 查看keytab内容[root@fan102 ~]#cd root[root@fan102root]# klist -e -k hive.keytabKeytab name: FILE:hiv...
2020-07-14 14:46:52
1309
原创 开启kerberos下的kafka
1修改Kafka配置1.1在Kafka的配置项搜索“security.inter.broker.protocol”，设置为SALS_PLAINTEXT1.2在Kafka的配置项搜索“ssl.client.auth”，设置为none2.创建配置文件2.1创建jaas.conf文件vim /var/lib/kafka/jaas.confKafkaClient {com.sun.security.auth.module.Krb5LoginModule requireduse.
2020-07-13 11:32:31
755
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人