YrzDemo-CSDN博客

原创 uos镜像docker安装

要在 Docker 中安装 UOS 镜像，你可以按照以下步骤操作：首先，确保已经安装了 Docker。如果没有安装，请根据你的操作系统类型（如 Ubuntu、CentOS 等）参考官方文档进行安装。这将返回与 UOS 相关的镜像列表。请将<镜像名称>替换为你选择的 UOS 镜像的名称。同样，将<镜像名称>替换为你选择的 UOS 镜像的名称。现在你可以在 UOS 容器中进行操作了。可以运行命令exit来退出容器。这样，你就成功地在 Docker 中安装了 UOS 镜像。

2024-02-27 14:24:23 836

转载 hive on spark参数样例

#设置计算引擎set hive.execution.engine=spark;#设置spark提交模式set spark.master=yarn-cluster;#设置作业提交队列set spark.yarn.queue=queue_name;#设置队列的名字set mapreduce.job.queuename=root.users.hdfs;#设置作业名称set spark.app.name=job_name;#该参数用于设置Spark作业总共要用多少个Executor进程

2021-11-30 16:21:20 560

原创 hbase问题-hbase表list存在，ui页面存在，但是无法disable,drop,create

问题描述：有个问题需要您那帮忙给处理下，hbase中有一个表cheat_channel_result，无法drop操作。麻烦给删掉我们在重新创建下。问题表在UI页面仍然存在根据问题去排查：1.hdfs中查看表已经不存在:[huhe001@nlkfpt-hh204-hx07w ~]$ hadoop fs -ls /hbase_huhe001/data/default/cheat_channel_result ls: `/hbase_huhe001/data/default/ch..

2021-05-25 20:06:56 862

原创 cloudera manager service GC异常

同事阿钲发现cloudera manager service页面打开很卡，查看调整了内存参数后偶尔还是有卡顿现象怀疑问题在于集群重启或者其他操作 cm server 与client 连接交互时GC达到瓶颈，沟通官方后得到验证并更改几个参数1. 登陆Cloudera server 所在的client。2. vi /etc/default/cloudera-scm-server3. 修改CMF_JAVA_OPTS下的 -Xmx 参数，默认的Java maximum heap size 是 2GB

2021-03-04 16:42:41 1090 1

原创 shell命令匹配

sed 正则空格匹配sed支持正则表达式，空格的表示方法[[:space:]]

2021-02-16 23:15:58 504

转载 2020-10-27

Hive详解之参数和变量设置Jeremy_Lee1232019-10-05 20:39:18977已收藏3分类专栏：Hive文章标签：hive版权Hive参数大全：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties开发Hive应用时，不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率，或帮助定位问题。然而实践中经常遇到的一个问题是，为什么设定...

2020-10-27 16:35:19 453

转载 hadoop上命令行查看lzo、gz、bz文件

hadoop上命令行查看lzo、gz、bz文件发表于2019-03-25|分类于hadoop||游览5469hadoop上命令行查看lzo、gz、bz文件HDFS上的文件可能是压缩的，所以用cat不能直接查看。hadoop上默认支持lzo、gz、bz2、snappy压缩格式。我们用命令行查看HDFS上压缩文件，也是可以的。lzo文件查看 HDFS 上 lzo 文件的命令 12345 hadoop fs -cat /D...

2020-09-09 10:42:29 2020

原创 hive提示报错问题（bug）

辽宁用户今天执行hive时出现报错1.租户的建表语句：CREATE TABLE XXX (xxxxxx)COMMENT '在线订单-卡号类订单明细'PARTITIONED BY ( `month_part` string COMMENT '月份分区', `day_part` string COMMENT '日期分区')ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSe...

2020-08-20 16:10:59 668

转载 hive job运行过程jobname指定

1 set mapred.job.name=jobname2 hive --hiveconf mapred.job.name=jobname2.效果如果脚本中有多个sql语句，那么你设定jobname后，所有的sql生成的job都会有同一个名字hive.jobname.length当前 job name 的最大长度，hive 会根据此长度省略 job name 的中间部分...

2020-08-12 09:29:10 1055

转载 hive 各配置参数用法

hive 各配置参数用法·清尘·2017-09-17 14:24:16498已收藏1、hive.exec.mode.local.auto决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行）true2、hive.exec.mode.local.auto.inputbytes.max如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。1342177...

2020-08-12 09:28:45 1213

转载 yarn job的job名过长报错问题

org.apache.hadoop.hdfs.protocol.FSLimitException$PathComponentTooLongException今天用户任务执行报错，提示：Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$PathComponentTooLongException): The maximum path component.

2020-08-10 15:05:15 542

转载 Hive 存储格式

Hive 存储格式说明2019-05-14 00:266400转载HiveHive 支持多种存储格式，本文我们将了解这些格式的概念。1、文本文件格式文件文件（TEXTFILE）格式是Hive中默认的存储格式，在创建Hive 表时如果不指定存储格式即为文本文件。文本文件中每一行数据就是一条记录，可以用任意的分隔符进行分割，也方便和其他的工具进行数据共享、查看和编辑，比如sed，awk等。但相对于二进制文件，文本文件存储的空间较大。TEXTFILE的数据不做压缩，磁盘开销大，数据解析开销大。

2020-08-05 14:20:47 1190

原创防火墙规则学习

最简单的命令是：iptables -A INPUT -p tcp --dport 50070 -j DROPiptables -I INPUT -s 10.124.211.1/23 -p tcp --dport 50070 -j ACCEPTiptables -I INPUT -m iprange --src-range 10.124.211.1-10.124.211.60 -p TCP --dport 50070 -j ACCEPT

2020-08-03 15:07:27 170

原创 cm卸载清理

卸载1.卸载cloudera环境service cloudera-scm-agent stopservice supervisord stopsystemctl stop cloudera-scm-serveryum remove cloudera-manager-daemons cloudera-manager-agent cloudera-manager-serverumount /run/cloudera-scm-agent/process清理目录与软连接:rm /opt/cloud

2020-08-03 10:26:07 637

原创 hive 的debug命令

hive的debug命令：hive -hiveconf hive.root.logger=Debug,consolehiveserver2的 debug 实现：1. beeline has a flag--verbose=[true/false] that will output more information, I use that option regularly to get back more information about stacktraces.2.Edit the /..

2020-07-27 15:24:16 870

转载 Hive 问题报错处理——No lease on

Hive job failed with error "org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException"本文介绍了您的配置单元作业失败并出现错误时该怎么办：“org.apache.hadoop.ipc.RemoteException（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredEx.

2020-07-10 18:30:37 2158

转载 lvm方式挂载盘及扩容

挂载：（挂载新设备） fdisk -l　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（查看设备情况） pvcreate /dev/sdb　　　　　　　　　　　　　　　　　　　　　　　　（将该设备创建为一个pv单元） vgcreate app /dev/sdb -s 64M　　　　　　　　　　　　　　　　　　（创建一个名为app的vg；此处应当注意PE大小分配 eg:设置为64最大可分配4Tb，128最大分配8Tb) lvcreate -L +99...

2020-06-29 16:15:15 280

原创 HIVE创建hbase关联表失败问题

Hive建表报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: Put request failed : INSERT INTO `SERDE_PARAMS` (`PARAM_VALUE`,`SERDE_ID`,`PARAM_KEY`) VALUES (?,?,?) ..

2020-06-28 15:11:38 1114

原创 ansibe安装与基本模块学习

1.ansible 安装python setup.py install --record files.txt (指定安装信息保存在files.txt)cat files.txt | xargs rm -rf (通过files.txt保存信息可以卸载ansible)ansible安装中cp /opt/beh/ans/ansible-2.6.20/examples/ansible.cfg /etc/ansible建议启用两个参数host_key_checking=False #检查对应服务器的.

2020-06-22 23:18:50 311

原创大数据平台巡山数据推送脚本

巡山中需要获取的数据任务有：1. fsimage信息，每日推送 2. 集群作业日志，每日推送因同时获取两集群数据，因此我通过不同环境变量加载，保存数据到本地并推送至远端1. fsimage.sh#!/bin/bash################################ 名称: PickFsimageFromHdfs## 描述: yrz修改## 参数: 日期 [...

2020-06-22 23:10:07 295

转载 CDH5.16.1版本中hbase集成phoenix

因业务需求，有租户需要使用phoenix工具1. phoenix下载地址：http://phoenix.apache.org/download.html2.下载：http://archive.apache.org/dist/phoenix/apache-phoenix-4.14.0-cdh5.14.2/bin/apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz3. 安装包：apache-phoenix-4.14.0-cdh5.14.2-bin.tar.g...

2020-06-16 11:39:57 764

原创 hdfs权限控制部分指令

hdfs dfs -getfacl <path>hdfs dfs -getfacl -m <path># 查询目录的ACL规则hdfs dfs -getfacl /user# 为指定user添加权限(user名为hadoo)hdfs dfs -setfacl -m user:hadoop:rwx /user# 为指定group添加权限(group名为group)hdfs dfs -setfacl -m group:hadoop:rwx /user# 删除指..

2020-06-12 20:17:57 315

原创 shell 的一个小脚本模板实现hosts添加

感谢公司大佬dob与bug的脚本运维工作中需要指定添加hosts信息到大数据平台集群之中，为方便添加，用shell脚本实现交互添加测试脚本：1.addhost.ex （实现分发功能）#!/usr/bin/expect -fset ip [lindex $argv 0]set user [lindex $argv 1]set passwd [lindex $argv 2]set username [lindex $argv 3]set userpasswd [lindex $arg

2020-06-12 20:12:36 1586

原创 hive超时问题

租户反馈他们执行一个耗时比较久的sql后，再去关闭会话连接的时候，报错连接超时了反馈添加参数运行：sethive.server2.session.check.interval=0;

2020-06-11 23:42:17 4123

转载 hive import 数据报错问题

一、故障现象经反馈，租户在hive使用import导入数据的时候出现报错现象1. 报错的语句：importtable$db_user.$table_namepartition($p_partition)from'/files/ftp2/zhihui2061/qianyi/$table_name';2. 报错截图：FAILED:ExecutionError,returncode-101fromorg.apache.hadoop.hive.ql.exec.Cop...

2020-06-08 16:11:54 910

原创 CDP-7-0-3 测试中 hiveserver2无法启动问题

前言：在CDH7.0.3测试中发现hiveserver2无法启动查看角色日志，存在大量如下信息：查看对应的hive节点上cat /run/cloudera-scm-agent/process/415-hive-HIVESERVER2/hive-site.xml |grep hive.query.redaction.rules 尝试修改配置文件解决，但是该选项在cdh中未发...

2020-06-08 09:55:40 532 1

转载 Spark源码研读 SparkConf

Spark源码研读-散篇记录（一）：SparkConf0 关于散篇记录散篇记录就是，我自己觉得有需要记录一下以方便后来查找的内容，就记录下来。1 Spark版本Spark 2.1.0。2 说明源码过程中所涉及的许多Scala的知识，完全可以参考之前Scala的笔记文章，应该来说确实很多知识内容都涉及到了。3 SparkConf源码SparkConf的源码相对不难，主要是对Spark本身要有所理解，同时Scala也应该要有所掌握，那么看起来就不太复杂，只看了比.

2020-05-27 16:14:47 375

原创 spark history 日志清理功能

cm 上spark history参数配置spark.history.fs.cleaner.enabled=truespark.history.fs.cleaner.interval=86400spark.history.fs.cleaner.maxAge=604800spark.history.fs.update.interval.seconds=10spark.history.retainedApplications=50spark.history.ui.admin.acls=spar.

2020-05-27 16:11:42 1626

转载 hive 修改前台提示

1. 今天在租户运行中发现这个提示信息一致都在，但是不影响正常运行这里去掉这个提示信息：在hive/bin/hive中修改修改为：

2020-04-27 11:41:42 242

转载 mysql的设置参数中max_allowed_packet

永久性解决方案:修改方法1(配置文件持久化修改)：vim /etc/my.cnf[mysqld]max_allowed_packet = 100M注意：修改配置文件以后，需要重启mysql服务才能生效。临时解决方案,修改该值show variables like ‘max_allowed_packet’;set global max_allowed_packet = 10 *...

2020-04-20 16:49:59 2235

转载 python setup.py install 的卸载

可以使用–record选项,重新安装，生成安装列表．记录安装文件列表，使用如下命令：python setup.py install --record files.txt当你，想卸载的时候，你可以用xargs去卸载cat files.txt | xargs rm -rf...

2020-04-19 20:43:10 569

转载 spark性能优化：高级篇（数据倾斜调优，shuffle调优）（转载）

前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证...

2020-04-10 15:01:41 162

转载主机名前（base）解决：

装完ananconda后，终端一直有base解决方案1.发现安装完后 .bashrc文件多了对应注释，注掉并配置环境变量2.安装了anaconda，打开终端的时候，一直有一个base，看着很不舒服，要是你也有这样的困惑，只需要下边的两行代码就可以了：conda config --show | grep auto_activate_base你会看到auto_activate_b...

2019-12-20 10:40:09 1159

转载 Django版本与Python版本兼容对照表

Django版本与Python版本兼容对照表2019年1月23日Django,Python940 views0Django版本与Python版本兼容性对照表，码笔记分享：Django和Python兼容对照表Django版本 Python版本 1.11 2.7, 3.4, 3.5, 3.6, 3.7 (added in 1.11.17) 2.0 3....

2019-12-13 17:49:34 3464

转载 python 查看django版本

发现了两种方式可以查询Django版本：【第一种方式】Windows系统下按住Windows按键 + R 进入搜索；搜索CMD进入控制台；输入Python进入Python解释器Linux系统下直接使用终端调用Python解释器接下来输入>>> import django>>> print django.VERSION # Python...

2019-12-13 17:48:10 339

转载 Windows下安装Python 模块

Windows下安装Python 模块的三种方法原创JiangHui1211发布于2019-06-20 10:22:49阅读数 504收藏展开方法一：cmd命令行窗口首先打开windows上的cmd命令行窗口，再将目录切换到python运行的那个目录下，那怎么查看自己是在那个目录下呢？鼠标右键点击file，依次点开就可以看到运行路径。在cmd中输入：cd /d...

2019-12-13 17:40:20 205

转载 yum源配置以及下载yum源中rpm包

Yum源相关的一些问题1 检查自己创建的yum源是否可用。yum list如果出现很多安装包，说明可用，如果报错说明不可以。2 yum源相当与一个指向软件仓库的连接，通过yum安装软件，实际上是通过链接进入软件仓库获取到相应软件包在安装的。yum源配置的三种方法（一）yum源概述yum需要一个yum库，也就是yum源。默认情况下，CentOS就有一个yum源。在/etc/yu...

2019-12-12 18:18:40 2227

转载 lsof查看节点打开的文件句柄数

Linux下查看进程打开的文件句柄数转载wangfei111g发布于2018-07-19 17:57:33阅读数 1024收藏展开查看主机打开文件句柄数：lsof|awk '{print $2}'|wc -l----查看当前进程打开了多少句柄数#其中按进程统计句柄数第一列是打开的句柄数，第二列是进程ID。lsof -n|awk '{print $2}'|so...

2019-12-12 18:06:38 5221

转载 python环境搭建和pycharm的安装配置及汉化学习文档

2019-12-03 11:39:54 224

转载 hadoop 修复hdfs中文件块错误（租约释放）

hdfs中文件块错误hdfs路径为：怀疑租约未释放引起参考文件：https://blog.csdn.net/qq_29992111/article/details/805335631.执行：hdfs fsck /user/zhihui004/bjwx.db/dwd_d_yd_sms/dayid=08/ -openforwrite2.查看信息：[...

2019-11-08 18:09:53 744

空空如也

空空如也