- 博客(59)
- 收藏
- 关注
RSS订阅原创 Ranger admin管理员密码忘记重置
##进入在ranger配置的元数据库中进行重置：mysql -uroot -p或者：mysql -urangeradmin -puse ranger;##重置admin密码为adminupdate x_portal_user set password = 'ceb4f32325eda6142bd65215f4c0f371' where login_id = 'admin';select * from x_portal_user where login_id = 'admin';...
2021-08-31 23:54:58
3251
原创 【hive】 union 与 union all使用注意事项
union allunion相同点： 相当于上下拼接 ；联合多个select语句的结果集合并为一个单独的结果集不同点： union有去重效果，速度会更慢；union all 使用注意事项：1.需要保证select中字段须一致，每个select语句返回的列的数量和名字必须一样，否则会报错。在1.2.1后的版本中出现一次union all对应列名不一致也不报错；但是多次union all列名必须一致否则会报错；建议直接列名保持一致即可；例如：##以上会可能会出现报错；但是使用别...
2021-08-31 23:42:38
5876
转载 【Hive】空值NULL与空字符串‘‘对比分析
hive命令行hive --help--config hive配置文件路径--service hive 服务--auxpath 添加jar包(多个jar包用:分割)
2021-08-31 23:17:18
2680
原创 hadoop配额管理命令详解
1.hdfs空间配额与文件数配额hadoop fs -mkdir /tmp/file ##创建测试目录 hdfs dfsadmin -setSpaceQuota 4t /tmp/file ##设置空间配额;大小写均可: t/T g/G m/M或者：hdfs dfsadmin -setSpaceQuota 2097152...
2021-07-10 15:16:55
902
1
原创 linux中loop虚拟设备介绍及限制目录空间使用举例
1.loop设备介绍在类 UNIX 系统里，loop 设备是一种伪设备(pseudo-device)，或者也可以说是仿真设备。它能使我们像块设备一样访问一个文件。在使用之前，一个 loop 设备必须要和一个文件进行连接。这种结合方式给用户提供了一个替代块特殊文件的接口。因此，如果这个文件包含有一个完整的文件系统，那么这个文件就可以像一个磁盘设备一样被 mount 起来。上面说的文件格式，我们经常见到的是 CD 或 DVD 的 ISO 光盘镜像文件或者是软盘(硬盘...
2021-07-08 16:31:43
1882
原创 marathon+mesos+docker部署
1.部署规划 master-node1 192.168.30.24 CentOS 7.2.1511 zookeeper, mesos-master, marathon master-node2 192.168.30.28 CentOS 7.2.1511 zookeeper, mesos-master, marathon mast
2021-06-29 10:55:10
589
原创 kubenetes(k8s)集群部署使用
kubernetes中文社区：https://www.kubernetes.org.cn/3795.html
2021-05-31 14:42:40
731
原创 docker部署与基础镜像准备
docker下载地址：https://get.docker.com/builds/Linux/x86_64/docker-1.13.1.tgzdocker的rpm包下载网址：http://yum.dockerproject.org/repo/main/centos/7/Packages/##docker中文网址：http://www.docker.org.cn/thread/126.html##docker官网文档库：https://docs.docker.com/engine/
2021-04-30 23:30:47
1544
12
原创 linux ACL与hdfs ACL权限设置
linux acl权限设置getfacl：取得某个文件/目录的ACL设置项目setfacl：设置某个文件/目录的ACL设置项目setfacl 参数-m：设置后续acl参数-x：删除后续acl参数-b：删除全部的acl参数-k：删除默认的acl参数-R：递归设置acl，包括子目录-d：设置默认aclsetfacl -m u:user1:rx /test/acl_test ##设置用户acl权限setfacl -m u:gr...
2021-04-30 23:05:22
585
1
原创 hive任务报错SELECT DISTINCT ‘org.apache.hadoop.hive.metastore.model.MPartition‘
问题描述：hive执行INSERT OVERWRITE TABLE操作时在最后阶段任务出现报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. MetaException(message:Exception thrown when executing query : SELECT DISTINCT 'org.apache.hadoop.hive.metastore.model.
2021-04-30 22:56:31
4752
1
转载 Hbase列属性详解
原文地址：https://blog.csdn.net/qq_39532946/article/details/77266335
2021-03-12 18:01:32
606
转载 HBase-线上问题排查思路
hbase官方配置说明地址：http://hbase.apache.org/book.html#hbase_default_configurations原文地址：https://www.jianshu.com/p/5687ac3bd1d41 写入阻塞表现为服务器数据无法写入，RegionServer经常宕机，修复方法优先级从高到低：1.1 RegionServer堆内存设置太小默认1GB，Memstore占40%，非常容易阻塞1.2 HFile达到了最...
2021-03-10 18:06:24
298
转载 Hbase中Region/Store/StoreFile/Hfile之间的关系
Region/Store/StoreFile/Hfile之间的关系1. Regiontable在行的方向上分隔为多个Region。Region是HBase中分布式存储和负载均衡的最小单元，即不同的region可以分别在不同的Region Server上，但同一个Region是不会拆分到多个server上。Region按大小分隔，表中每一行只能属于一个region。随着数据不断插入表，region不断增大，当region的某个列族达到一个阈值（默认10G,由参数hbase.hregion.max
2021-03-04 21:49:24
2473
1
原创 crt和xshell添加快捷按钮的方法
crt或者xshell添加快捷按钮可以方便记录常用的一些命令或者用户密码；提高工作效率1.crt 添加按钮在左下角就绪右侧空白处，右键-->勾选 按钮栏 -->Default右侧空白处-->右键-->新建按钮--->可以直接在Default按键栏下添加按键##效果展示：另外，新建按钮栏-->可以创建不同按钮栏组2.xshell添加按钮-->查看-->快速命令-->然后点击...
2021-02-19 09:47:34
3853
原创 docker私有仓库harbor部署
操作机器： ip地址: 192.168.x.21hostname: cm001.安装dockeryum install -y docker ##yum安装dockerdocker -v ##查看docker版本##启动dockersystemctl start docker.service ##启动dockersystemctl enable docker.se...
2021-02-18 17:23:54
239
原创 linux下vsftp服务搭建和使用
ftp下载地址:http://mirror.centos.org/centos/7/os/x86_64/Packages/vsftpd 是“very secure FTP daemon”的缩写，安全性是它的一个最大的特点。vsftpd 是一个 UNIX 类操作系统上运行的服务器的名字，它可以运行在诸如 Linux、BSD、Solaris、 HP-UNIX等系统上面，是一个完全免费的、开放源代码的ftp服务器软件，支持很多其他的 FTP 服务器所不支持的特征。比如：非常高的安全性需求.
2021-02-18 14:47:29
233
原创 redis单节点与集群的搭建
1.redis节点搭建##下载rediscd /usr/localwget http://download.redis.io/releases/redis-4.0.11.tar.gztar -zxvf redis-4.0.11.tar.gzmv redis-4.0.11 redis && cd redis##安装redis到指定目录/opt/beh/core/redis/mkdir -p /opt/beh/core/make PREFIX=/opt/beh/c
2021-01-11 20:50:22
869
1
转载 awk输出特殊字符-单引号
原文地址：https://blog.csdn.net/wqq_721/article/details/76262011.输出字符串使用到单引号单引号－双引号－单引号－转义单引号－单引号－字符串－单引号－转义单引号－单引号－双引号－单引号（下划线部分为输出单引号，相同颜色符号对应）echo aaa | awk '{print "select * from A where name='\''TOM'\''"}'2.输出域变量使用到单引号单引号－双引号－单引号－转义单引号－..
2020-12-29 14:25:45
1145
原创 secureCRT 下载使用
##securecrt官网:https://securecrt.en.softonic.com/##下载地址： (需要注册登陆才能下载)https://www.vandyke.com/cgi-bin/account_login.php?pid=scrt_x64_872scrt-x64.8.7.exe ##官网上通过账户密码登陆下载的最新未破解版本；可通过keygen.exe来破解SecureCRT6.6汉化版.zip ...
2020-12-24 15:01:13
1627
原创 windows下Oracle客户端与PL/SQL的安装使用
##plsql官网(默认收费)https://www.allroundautomations.com/##plsql下载地址：链接：https://pan.baidu.com/s/1-gj3aW1PWcvC9LNtGv_Vog提取码：uw2g1.大致步骤：1) 以管理员身份安装Oracle client；安装好之后，修改oracle的tnsnames.ora为服务器对应的tnsnames.ora;2) 设置环境变量 TNS_HOME；位置为oracle cli...
2020-12-22 10:43:11
622
原创 linux下oracle修改默认监听端口号1521
演示Oracle版本为11g,主机名为 cm02,ip为192.168.x.221.查看监听状态lsnrctl status 可以看出默认端口为15212.停止监听lsnrctl stop3.修改listener.ora配置文件vi $ORACLE_HOME/network/admin/listener.ora 注意 只修改圈出的地方;将端口修改为99994.登录并查看local_listener参数...
2020-12-14 16:57:30
2454
原创 吐槽csdn的搜索匹配功能有待进一步优化
进行搜索以下报错时：org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found到个人博客里面当然可以匹配到该内容：但是在csdn主搜索栏却查不到希望csdn至少能做到在自己的搜索栏里面优先匹配所有字符相同的匹配文章，方便大家在故障排查的时候更容易找到遇到过相同..
2020-12-12 20:19:29
259
2
原创 Linux下oracle 11g服务端安装
oracle官网：https://www.oracle.com/oracle中文官网：https://www.oracle.com/cn/index.htmloracle 11g下载地址(需要注册账户才能下载)：https://www.oracle.com/database/technologies/xe-prior-releases.htmloracle客户端下载地址:https://www.oracle.com/database/technologies/instant.
2020-11-30 21:37:00
1687
原创 mysql设置中文编码格式utf-8
1.临时设置：set character_set_client = utf8;set character_set_server = utf8;set character_set_connection = utf8;set character_set_database = utf8;set character_set_results = utf8;set collation_connection = utf8_general_ci;set collation_database = utf8_
2020-11-17 16:26:04
1385
转载 mysql的alter用法总结
原文地址：https://blog.csdn.net/qq_41820897/article/details/1001798341：删除列ALTER TABLE 表名 DROP COLUMN 列名2：增加列ALTER TABLE 表名 ADD COLUMN 列名 属性 【约束】3：修改列的类型信息ALTER TABLE 表名 CHANGE COLUMN 列名 【新】列名新属性4：重命名列ALTER TABLE 表名字 CHANGE COLUMN 列名 新列名 属性.
2020-10-26 17:12:36
1040
转载 hbase hbck修复hbase使用说明
hbase hbck（1）-fix， 向下兼容用，被-fixAssignments替代 （2）-fixAssignments， 用于修复region assignments错误 （3）-fixMeta， 用于修复meta表的问题，前提是HDFS上面的region info信息有并且正确。 （4）-fixHdfsHoles， 修复region holes（空洞，某个区间...
2020-10-26 11:17:20
734
原创 hive运行mapreduce任务出现报错Error during job, obtaining debugging information...
问题描述：hive建表之后进行insert数据插入操作时，出现以下报错：Error during job, obtaining debugging information...解决步骤：实际上导致执行hive出现该报错信息的原因非常多，通过网上搜索相关报错信息发现很多人说是namenode或者hive等的jvm内存不足，结果实际测试发现调大内存也不行；并且此时我实际执行wordcount测试用例又能成功运行；据此也基本可以排除jvm内存不足的问题；网上不少人提议采用本
2020-10-23 16:47:50
2162
3
转载 jdbc和odbc
原文地址：https://www.cnblogs.com/yunfeioliver/p/8012166.htmlJDBC简介JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，它是Java十三个规范之一。可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准，据此可以构建更高级的工具和接口，使数据库开发人员能够编写数据库应用程序，同时，JDBC也是个商标名。OD.
2020-10-10 16:04:41
326
转载 cpuinfo和lscpu查看CPU相关的信息
文章来源地址：https://blog.csdn.net/gzhouc/article/details/51999485cpuinfocat /proc/cpuinfo有两个物理CPU，每个物理CPU上有1个Core，每个Core上有两个逻辑处理器，共有4个逻辑处理器搞明白以下几个概念 * processor 条目包括这一逻辑处理器的唯一标识符。 * physical id 条目包括每个物理封装的唯一标识符。 * core id 条目保...
2020-10-10 11:27:58
465
转载 关于Docker目录挂载的总结
原文地址：https://www.cnblogs.com/ivictor/p/4834864.htmlDocker容器启动的时候，如果要挂载宿主机的一个目录，可以用-v参数指定。譬如我要启动一个centos容器，宿主机的/test目录挂载到容器的/soft目录，可通过以下方式指定：docker run -it -v /test:/soft centos /bin/bash这样在容器启动后，容器内会自动创建/soft的目录。通过这种方式，我们可以明确一点，即-v参数中，冒号":"前面.
2020-09-27 23:02:44
2706
原创 hue的安装与集成hive使用
hue官网：http://gethue.comhue cdh版本下载地址：http://archive.cloudera.com/cdh5/cdh/5/搜索 hue-3.9.0-cdh5.16.1.tar.gz; 查找匹配自己hadoop集群,hive版本；官方安装文档地址：http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.16.1/admin-manual/manual.htmlmaven下载地址：http://m.
2020-09-22 15:44:59
1106
1
原创 cloudera manager5.13.1安装使用
##cloudera官网:https://docs.cloudera.com/##cm环境要求说明:https://docs.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#TLS_Security_Versions_Table##cm下载地址:http://archive.cloudera.com/cm5/cm/5/搜索: cloudera-manager-.
2020-08-31 23:52:47
916
原创 grafana+prometheus+node_exporter+alertmanager的搭建与监控告警
grafana官网：https://grafana.com/docsgrafana下载地址：https://grafana.com/docs/installation/rpm/https://grafana.com/grafana/download?platform=linuxegg:wgethttps://dl.grafana.com/oss/release/grafana-6.2.5.linux-amd64.tar.gztar-zxvfgrafana-6.2.5.li...
2020-08-31 10:51:18
1704
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人