- 博客(41)
- 收藏
- 关注
原创 uos镜像docker安装
要在 Docker 中安装 UOS 镜像,你可以按照以下步骤操作:首先,确保已经安装了 Docker。如果没有安装,请根据你的操作系统类型(如 Ubuntu、CentOS 等)参考官方文档进行安装。这将返回与 UOS 相关的镜像列表。请将<镜像名称>替换为你选择的 UOS 镜像的名称。同样,将<镜像名称>替换为你选择的 UOS 镜像的名称。现在你可以在 UOS 容器中进行操作了。可以运行命令exit来退出容器。这样,你就成功地在 Docker 中安装了 UOS 镜像。
2024-02-27 14:24:23
936
转载 hive on spark参数样例
#设置计算引擎set hive.execution.engine=spark;#设置spark提交模式set spark.master=yarn-cluster;#设置作业提交队列set spark.yarn.queue=queue_name;#设置队列的名字set mapreduce.job.queuename=root.users.hdfs;#设置作业名称set spark.app.name=job_name;#该参数用于设置Spark作业总共要用多少个Executor进程
2021-11-30 16:21:20
572
原创 hbase问题-hbase表list存在,ui页面存在,但是无法disable,drop,create
问题描述:有个问题需要您那帮忙给处理下,hbase中有一个表cheat_channel_result,无法drop操作。麻烦给删掉我们在重新创建下。问题表在UI页面仍然存在根据问题去排查:1.hdfs中查看表已经不存在:[huhe001@nlkfpt-hh204-hx07w ~]$ hadoop fs -ls /hbase_huhe001/data/default/cheat_channel_result ls: `/hbase_huhe001/data/default/ch..
2021-05-25 20:06:56
875
原创 cloudera manager service GC异常
同事阿钲发现cloudera manager service页面打开很卡,查看调整了内存参数后偶尔还是有卡顿现象怀疑问题在于集群重启或者其他操作 cm server 与client 连接交互时GC达到瓶颈,沟通官方后得到验证并更改几个参数1. 登陆Cloudera server 所在的client。2. vi /etc/default/cloudera-scm-server3. 修改CMF_JAVA_OPTS下的 -Xmx 参数,默认的Java maximum heap size 是 2GB
2021-03-04 16:42:41
1121
1
转载 2020-10-27
Hive详解之参数和变量设置Jeremy_Lee1232019-10-05 20:39:18977已收藏3分类专栏:Hive文章标签:hive版权Hive参数大全:https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties开发Hive应用时,不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率,或帮助定位问题。然而实践中经常遇到的一个问题是,为什么设定...
2020-10-27 16:35:19
476
转载 hadoop上命令行查看lzo、gz、bz文件
hadoop上命令行查看lzo、gz、bz文件发表于2019-03-25|分类于hadoop||游览5469hadoop上命令行查看lzo、gz、bz文件HDFS上的文件可能是压缩的,所以用cat不能直接查看。hadoop上默认支持lzo、gz、bz2、snappy压缩格式。我们用命令行查看HDFS上压缩文件,也是可以的。lzo文件查看 HDFS 上 lzo 文件的命令 12345 hadoop fs -cat /D...
2020-09-09 10:42:29
2043
原创 hive提示报错问题(bug)
辽宁用户今天执行hive时出现报错1.租户的建表语句:CREATE TABLE XXX (xxxxxx)COMMENT '在线订单-卡号类订单明细'PARTITIONED BY ( `month_part` string COMMENT '月份分区', `day_part` string COMMENT '日期分区')ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSe...
2020-08-20 16:10:59
675
转载 hive job运行过程jobname指定
1 set mapred.job.name=jobname2 hive --hiveconf mapred.job.name=jobname2.效果如果脚本中有多个sql语句,那么你设定jobname后,所有的sql生成的job都会有同一个名字hive.jobname.length当前 job name 的最大长度,hive 会根据此长度省略 job name 的中间部分...
2020-08-12 09:29:10
1077
转载 hive 各配置参数用法
hive 各配置参数用法·清尘·2017-09-17 14:24:16498已收藏1、hive.exec.mode.local.auto决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行)true2、hive.exec.mode.local.auto.inputbytes.max如果 hive.exec.mode.local.auto 为 true,当输入文件大小小于此阈值时可以自动在本地模式运行,默认是 128兆。1342177...
2020-08-12 09:28:45
1249
转载 yarn job的job名过长报错问题
org.apache.hadoop.hdfs.protocol.FSLimitException$PathComponentTooLongException今天用户任务执行报错,提示:Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$PathComponentTooLongException): The maximum path component.
2020-08-10 15:05:15
553
转载 Hive 存储格式
Hive 存储格式 说明2019-05-14 00:266400转载HiveHive 支持多种存储格式,本文我们将了解这些格式的概念。1、文本文件格式文件文件(TEXTFILE)格式是Hive中默认的存储格式,在创建Hive 表时如果不指定存储格式即为文本文件。文本文件中每一行数据就是一条记录,可以用任意的分隔符进行分割,也方便和其他的工具进行数据共享、查看和编辑,比如sed,awk等。但相对于二进制文件,文本文件存储的空间较大。TEXTFILE的数据不做压缩,磁盘开销大,数据解析开销大。
2020-08-05 14:20:47
1229
原创 防火墙规则学习
最简单的命令是:iptables -A INPUT -p tcp --dport 50070 -j DROPiptables -I INPUT -s 10.124.211.1/23 -p tcp --dport 50070 -j ACCEPTiptables -I INPUT -m iprange --src-range 10.124.211.1-10.124.211.60 -p TCP --dport 50070 -j ACCEPT
2020-08-03 15:07:27
176
原创 cm卸载清理
卸载1.卸载cloudera环境service cloudera-scm-agent stopservice supervisord stopsystemctl stop cloudera-scm-serveryum remove cloudera-manager-daemons cloudera-manager-agent cloudera-manager-serverumount /run/cloudera-scm-agent/process清理目录与软连接:rm /opt/cloud
2020-08-03 10:26:07
660
原创 hive 的debug命令
hive的debug命令:hive -hiveconf hive.root.logger=Debug,consolehiveserver2的 debug 实现:1. beeline has a flag--verbose=[true/false] that will output more information, I use that option regularly to get back more information about stacktraces.2.Edit the /..
2020-07-27 15:24:16
883
转载 Hive 问题报错处理——No lease on
Hive job failed with error "org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException"本文介绍了您的配置单元作业失败并出现错误时该怎么办:“org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredEx.
2020-07-10 18:30:37
2190
转载 lvm方式挂载盘及扩容
挂载:(挂载新设备) fdisk -l (查看设备情况) pvcreate /dev/sdb (将该设备创建为一个pv单元) vgcreate app /dev/sdb -s 64M (创建一个名为app的vg;此处应当注意PE大小分配 eg:设置为64最大可分配4Tb,128最大分配8Tb) lvcreate -L +99...
2020-06-29 16:15:15
295
原创 HIVE创建hbase关联表失败问题
Hive建表报错:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: Put request failed : INSERT INTO `SERDE_PARAMS` (`PARAM_VALUE`,`SERDE_ID`,`PARAM_KEY`) VALUES (?,?,?) ..
2020-06-28 15:11:38
1140
原创 ansibe安装与基本模块学习
1.ansible 安装python setup.py install --record files.txt (指定安装信息保存在files.txt)cat files.txt | xargs rm -rf (通过files.txt保存信息可以卸载ansible)ansible安装中cp /opt/beh/ans/ansible-2.6.20/examples/ansible.cfg /etc/ansible建议启用两个参数host_key_checking=False #检查对应服务器的.
2020-06-22 23:18:50
320
原创 大数据平台巡山 数据推送脚本
巡山中需要获取的数据任务有:1. fsimage信息,每日推送 2. 集群作业日志,每日推送因同时获取两集群数据,因此我通过不同环境变量加载,保存数据到本地并推送至远端1. fsimage.sh#!/bin/bash################################ 名称: PickFsimageFromHdfs## 描述: yrz修改## 参数: 日期 [...
2020-06-22 23:10:07
300
转载 CDH5.16.1版本中hbase集成phoenix
因业务需求,有租户需要使用phoenix工具1. phoenix下载地址:http://phoenix.apache.org/download.html2.下载 :http://archive.apache.org/dist/phoenix/apache-phoenix-4.14.0-cdh5.14.2/bin/apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz3. 安装包:apache-phoenix-4.14.0-cdh5.14.2-bin.tar.g...
2020-06-16 11:39:57
774
原创 hdfs权限控制部分指令
hdfs dfs -getfacl <path>hdfs dfs -getfacl -m <path># 查询目录的ACL规则hdfs dfs -getfacl /user# 为指定user添加权限(user名为hadoo)hdfs dfs -setfacl -m user:hadoop:rwx /user# 为指定group添加权限(group名为group)hdfs dfs -setfacl -m group:hadoop:rwx /user# 删除指..
2020-06-12 20:17:57
333
原创 shell 的一个小 脚本模板实现hosts添加
感谢公司大佬dob与bug的脚本运维工作中需要指定添加hosts信息到大数据平台集群之中,为方便添加,用shell脚本实现交互添加测试脚本:1.addhost.ex (实现分发功能)#!/usr/bin/expect -fset ip [lindex $argv 0]set user [lindex $argv 1]set passwd [lindex $argv 2]set username [lindex $argv 3]set userpasswd [lindex $arg
2020-06-12 20:12:36
1612
原创 hive超时问题
租户反馈他们执行一个耗时比较久的sql后,再去关闭会话连接的时候,报错连接超时了反馈添加参数运行:sethive.server2.session.check.interval=0;
2020-06-11 23:42:17
4141
转载 hive import 数据报错问题
一、故障现象经反馈,租户在hive使用import导入数据的时候出现报错现象1. 报错的语句:importtable$db_user.$table_namepartition($p_partition)from'/files/ftp2/zhihui2061/qianyi/$table_name';2. 报错截图:FAILED:ExecutionError,returncode-101fromorg.apache.hadoop.hive.ql.exec.Cop...
2020-06-08 16:11:54
930
原创 CDP-7-0-3 测试中 hiveserver2无法启动问题
前言: 在CDH7.0.3测试中发现hiveserver2无法启动查看角色日志,存在大量如下信息:查看对应的hive节点上cat /run/cloudera-scm-agent/process/415-hive-HIVESERVER2/hive-site.xml |grep hive.query.redaction.rules 尝试修改配置文件解决,但是该选项在cdh中未发...
2020-06-08 09:55:40
552
1
转载 Spark源码研读 SparkConf
Spark源码研读-散篇记录(一):SparkConf0 关于散篇记录散篇记录就是,我自己觉得有需要记录一下以方便后来查找的内容,就记录下来。1 Spark版本Spark 2.1.0。2 说明源码过程中所涉及的许多Scala的知识,完全可以参考之前Scala的笔记文章,应该来说确实很多知识内容都涉及到了。3 SparkConf源码SparkConf的源码相对不难,主要是对Spark本身要有所理解,同时Scala也应该要有所掌握,那么看起来就不太复杂,只看了比.
2020-05-27 16:14:47
389
原创 spark history 日志清理功能
cm 上spark history参数配置spark.history.fs.cleaner.enabled=truespark.history.fs.cleaner.interval=86400spark.history.fs.cleaner.maxAge=604800spark.history.fs.update.interval.seconds=10spark.history.retainedApplications=50spark.history.ui.admin.acls=spar.
2020-05-27 16:11:42
1639
转载 hive 修改前台提示
1. 今天在租户运行中发现这个提示信息一致都在,但是不影响正常运行这里去掉这个提示信息:在hive/bin/hive中修改修改为:
2020-04-27 11:41:42
251
转载 mysql的设置参数中max_allowed_packet
永久性解决方案:修改方法1(配置文件持久化修改):vim /etc/my.cnf[mysqld]max_allowed_packet = 100M注意:修改配置文件以后,需要重启mysql服务才能生效。临时解决方案,修改该值show variables like ‘max_allowed_packet’;set global max_allowed_packet = 10 *...
2020-04-20 16:49:59
2261
转载 python setup.py install 的卸载
可以使用–record选项,重新安装,生成安装列表.记录安装文件列表,使用如下命令:python setup.py install --record files.txt当你,想卸载的时候,你可以用xargs去卸载cat files.txt | xargs rm -rf...
2020-04-19 20:43:10
574
转载 spark性能优化:高级篇(数据倾斜调优,shuffle调优)(转载)
前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证...
2020-04-10 15:01:41
169
转载 主机名前 (base) 解决:
装完ananconda后,终端一直有base解决方案1.发现 安装完后 .bashrc文件多了对应注释, 注掉并配置环境变量2.安装了anaconda,打开终端的时候,一直有一个base,看着很不舒服,要是你也有这样的困惑,只需要下边的两行代码就可以了:conda config --show | grep auto_activate_base你会看到auto_activate_b...
2019-12-20 10:40:09
1170
转载 Django版本与Python版本兼容对照表
Django版本与Python版本兼容对照表2019年1月23日Django,Python940 views0Django版本与Python版本兼容性对照表,码笔记分享:Django和Python兼容对照表Django版本 Python版本 1.11 2.7, 3.4, 3.5, 3.6, 3.7 (added in 1.11.17) 2.0 3....
2019-12-13 17:49:34
3481
转载 python 查看django版本
发现了两种方式可以查询Django版本:【第一种方式】Windows系统下 按住Windows按键 + R 进入搜索;搜索CMD进入控制台;输入Python进入Python解释器Linux系统下 直接使用终端调用Python解释器接下来输入>>> import django>>> print django.VERSION # Python...
2019-12-13 17:48:10
349
转载 Windows下安装Python 模块
Windows下安装Python 模块的三种方法原创JiangHui1211发布于2019-06-20 10:22:49阅读数 504收藏展开方法一:cmd命令行窗口首先打开windows上的cmd命令行窗口,再将目录切换到python运行的那个目录下,那怎么查看自己是在那个目录下呢?鼠标右键点击file,依次点开就可以看到运行路径。在cmd中输入:cd /d...
2019-12-13 17:40:20
213
转载 yum源配置以及下载yum源中rpm包
Yum源相关的一些问题1 检查自己创建的yum源是否可用。yum list如果出现很多安装包,说明可用,如果报错说明不可以。2 yum源相当与一个指向软件仓库的连接,通过yum安装软件,实际上是通过链接进入软件仓库获取到相应软件包在安装的。yum源配置的三种方法(一)yum源概述yum需要一个yum库,也就是yum源。默认情况下,CentOS就有一个yum源。在/etc/yu...
2019-12-12 18:18:40
2286
转载 lsof查看节点打开的文件句柄数
Linux下查看进程打开的文件句柄数转载wangfei111g发布于2018-07-19 17:57:33阅读数 1024收藏展开查看主机打开文件句柄数:lsof|awk '{print $2}'|wc -l----查看当前进程打开了多少句柄数#其中按进程统计句柄数 第一列是打开的句柄数,第二列是进程ID。lsof -n|awk '{print $2}'|so...
2019-12-12 18:06:38
5353
转载 python环境搭建和pycharm的安装配置及汉化学习文档
python环境搭建和pycharm的安装配置及汉化学习文档2018-02-12 00:26:49莫晨阅读数 143589收藏更多分类专栏:技术博客版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/ling_mochen/article/details/79314...
2019-12-03 11:39:54
232
转载 hadoop 修复hdfs中文件块错误(租约释放)
hdfs中文件块错误hdfs路径为:怀疑租约未释放引起参考文件:https://blog.csdn.net/qq_29992111/article/details/805335631.执行:hdfs fsck /user/zhihui004/bjwx.db/dwd_d_yd_sms/dayid=08/ -openforwrite2.查看信息:[...
2019-11-08 18:09:53
756
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人