- 博客(52)
- 收藏
- 关注
RSS订阅原创 mac M2 出现 zsh: command not found: brew问题解决方案
zsh: command not found: brew
2023-11-03 16:56:14
1807
原创 org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
记录hbase PleaseHoldException 异常
2023-09-13 14:41:44
1208
原创 Linux 脚本 hive脚本
原因: hive导入hdfs按天文件夹,按小时文件的数据, 历史数据(天数)较多, 手动添加分区, 工作量大,改用脚本编写脚本: notepad++(工具)------------------------------------------------------------------------------以下 脚本 --------------------------------......
2022-08-30 17:00:32
419
原创 mysql zip安装常见报错
当然先得是mysql下载，解压咯下载传送门 https://dev.mysql.com/downloads/mysql/5.7.html解压解压路径看个人习惯，我的是D:\Program Files\mysql-5.7.35-winx64，其中data与my.ini文件是没有的，接下来会讲到的。启动报错以及解决方案由于找不到MSVCR120.dll,无法继续执行代码.重新安装程序可能会解决此问题。下载安装 Visual C++ Redistributable Packages fo
2021-11-05 14:55:27
504
原创 Unable to start embedded Tomcat
nacos在启动时报错Unable to start embedded Tomcatorg.springframework.context.ApplicationContextException: Unable to start web server; nested exception is org.springframework.boot.web.server.WebServerException: Unable to start embedded Tomcat at org.spr
2021-10-25 16:38:46
3036
原创 IDEA 全局搜索Ctrl + shift + F 冲突
Ctrl + shift + F 为idea全局搜索热键， 一般会与windows 系统的 微软输入法快捷键冲突，一般情况，大家都会装搜狗输入法或者其他输入法代替，所以这次采取的措施是删除微软输入法。删除步骤:1. win键，输入"语言", 点击“语言设置”2. 点击 “中文（简体，中国）”3. 点击 “选项”4. 找到“键盘”， 点击（选中）“微软拼音”，点击删除自此：全局搜索功能就可以正常使用了...
2021-09-26 11:09:22
1968
原创 idea other settings
IDEA的Other Settings选项是存在的，只是因为idea的版本不一样，它们的名字和位置就不一样了。具体的位置如下表：版本 位置 2018 file ⇨ Other Settings ⇨ Default Settings 2019 file ⇨ Other Settings ⇨ Settings for New Projects 2021 file ⇨ New Projects Settings ⇨ Settings for New Projects 2
2021-09-15 15:08:16
1762
原创 can‘t login:request response:401 unauthorized - requires authentication
问题：IDEA 上拉取Git代码，出现401方案：git更新密码 ---> 传送门https://github.com/settings/security更新密码后，重新拉取Git代码，在IDEA弹框中重新输入新密码，就可以拉取代码了
2021-07-08 09:17:11
1659
原创 clickhouse删除数据常见报错
clickhouse 删除数据常见异常Expected one of: DATABASE, TEMPORARY, TABLEtruncate login_log_struct;Syntax error: failed at position 10:truncate login_log_struct;Expected one of: DATABASE, TEMPORARY, TABLE解决方案drop table login_log_struct;Code: 359. DB
2021-06-30 16:07:24
3834
原创 rmr报错解决方案
hadoop dfs -rmr && hdfs dfs -rmr解决方案报错1：rmr: DEPRECATED: Please use ‘-rm -r’ instead.rmr: Permission denied: user=user, access=ALL, inode="报错2：ERROR: JAVA_HOME is not set and could not be found. 错误方式一：hadoop fs -rmr /user/user/.Trash/2106
2021-06-08 20:27:29
903
原创 docker-compose up报错
docker-compose up容器启动报错ERROR: Couldn’t connect to Docker daemon at http+docker://localhost - is it running?故障服务无法访问使用 docker-compose up [-d]报错，其中 -d 参数是后台执行，报错内容如下：ERROR: Couldn’t connect to Docker daemon at http+docker://localhost - is it
2021-05-26 14:50:07
1267
原创 clickhouse SHOW 查询操作
clickhouse SHOW查询查看建表信息SHOW CREATE [TEMPORARY] [TABLE | DICTIONARY] [db.]table [INTO OUTFILE filename] [FORMART format];查看所有库SHOW DATABASES [INTO OUTFILE filename] [FORMAT format];打印所有的数据库列表， 该查询等同于 SELECT name FROM system.databases [INTO OUTFI
2021-05-18 23:35:09
2712
原创 Clickhouse常见异常
clickhouse 异常报错： Code: 16. DB::Exception: Received from localhost:9000. DB::Exception: There is no physical column ver（表字段） in table…处理方案： 检查metadata下sql文件数据是否正常报错： Cannot create table from metadata file /var/lib/clickhouse/metadata/db_name//tab_nam
2021-04-30 16:16:08
5386
1
原创 VI VIM详解
VI VIM详解vi 三种模式Command（命令）模式，用于输入命令；Insert（插入）模式，用于插入文本；Visual（可视）模式，用于视化的的高亮并选定正文；:root { --mermaid-font-family: "trebuchet ms", verdana, arial;}#mermaid-svg-M4YWbvuIB7fck456 { color: rgba(0, 0, 0, 0.75); font: ; }vienteri 等Escv或者V或Crtl vE
2021-04-10 16:49:39
272
原创 数据治理 Python桑基图处理表关系
数据治理 Python桑基图处理表关系需求随着hive库表越来越多，调度出问题后，排查时间越来越长。计划通过桑基图以及血缘图谱解决，当前先用桑基图页面顶一段时间。后期做成web服务，如果有可能，尽量嵌入到hive metastore环境与版本Anaconda – Python3.6IED – PyCharm前端可视化图表 – echarts(pycharts 1.+)数据处理整理hive表方案一： 从hive metastore关联表获取（DBS + TBLS)## 所有库表
2021-03-09 18:38:49
2310
原创 nacos详细安装部署与异常排解
nacos 详细安装与部署官网链接：https://nacos.io/zh-cn/docs/quick-start.html一、预备环境准备OSwindows 10java1.8.0_144mavenApache Maven 3.5.3nacos版本Nacos 1.4.2-SNAPSHOTmysqlmysql 版本Nacos 自带sql支持性5.5.*不支持5.7.*支持规模及部署模式单机；standalone二、安装安装方式分
2021-01-27 18:30:47
1939
1
原创 Chrome 浏览器被限制复制
Chrome 浏览器被限制复制很多时候想复制360doc、百度文库文档被限制复制，需要注册登录，注册登录完成以后还得缴纳vip会员费用，其实这些都不用，小小【禁用复制功能】难不倒大家禁止复制样例360doc禁止复制样例破解方法按下F12按下F1拉到底部，找到并勾选Disable JavaScript，如上图红框按下F5...
2021-01-25 14:48:14
1122
原创 markdown 表格详用
MARKDOWN 表格目录markdown 表格写法markdown 表格对齐方式markdown 表格内换行markdown 表格写法Markdown 制作表格使用 | 来分隔不同的单元格，使用 - 来分隔表头和其他行。| 列1 | 列2 || -- | -- || 单元格 | 单元格 || 单元格 | 单元格 |效果展示列1列2单元格单元格单元格单元格markdown对齐方式对齐：使用英文":"符号| 左对齐
2021-01-14 15:12:45
1412
1
原创 nodejs 常见异常
nodejs 常见问题一、nodejs 版本升级原始环境OS： win10系统，64位node： 10.15.*升级到最新环境查阅资料显示使用如下命令# 执行如下语句npm i -g n# 报错如下npm ERR! code EBADPLATFORMnpm ERR! notsup Unsupported platform for n@7.0.0: wanted {"os":"!win32","arch":"any"} (current: {"os":"win32","arch":"
2021-01-08 18:13:09
8916
原创 shell 文本处理三剑客（sed awk grep）之sed
shell 文本处理三剑客sed awk grep各自的优势类型sedawkgrep是否要求格式化要求要求无要求支持正则标准正则标准正则扩展正则sed详解本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作sed 常用参数常用选项：Usage: sed [OPTION]… {script-only-if-no-other-script} [input-file]…-n∶使用安静(silent)模
2020-12-21 16:49:09
152
原创 spark count(distinct)over() 数据处理
spark count(distinct)over() 数据处理业务描述有这么一个业务，需要过滤排除掉相同设备不同账号，以及相同账号不同设备的数据，只留下设备与账号一对一的数据：如果从关系型数据库来看，A 多对对 B, 需要找出并保留 A一对一的B。数据准备设备id账号1a2b2c3b3d4d5e5e/*从数据上看只有(1,a),(5,e)满足一对一的要求，设备2存在b/c两个账号，设备3存在b/d两个账号
2020-12-02 22:37:56
2740
3
原创 CDH运维 oozie失败调度钉钉报警
CDH运维 oozie失败调度钉钉报警前言采用CDH集成的大数据架构，常用oozie作为调度工具，需要对任务进行监控，有用邮件的，有用钉钉通知的。因每天邮件太多，很容易忽略，因此采用时刻都在用的办公软件钉钉作为通知目录钉钉群自定义接口申请脚本开发自定义接口申请请参考之前blog：https://blog.csdn.net/dbc_zt/article/details/109781554脚本开发oozie架构oozie调度执行过的 job存放在 WF_JOBS 表/* *安装
2020-11-30 14:27:21
659
原创 hive系列性能调优
hive 性能调优前言hive在大数据离线开发使用过程占比还是挺大的，熟练掌握hive调优，是每个大数据从业人员的基本要求了目录SQL 优化数据块大小对性能影响存储格式对性能影响分区表分同表引擎SQL优化with的使用with语法将数据查询到内存，然后后面其它查询可以直接使用-- with常用的几种方式-- routine stylewith a1 as ( select * from a where id between 1 and 20 ) se
2020-11-28 15:35:42
234
原创 hive join使用总结
hive join方式总结join的几种方式[INNER] JOIN 内联LEFT JOIN 左连RIGHT JOIN 右连FULL OUTER JOIN 全外连LEFT SEMI JOIN 左半连CROSS JOIN 笛卡尔数据准备cl_tmp.tmp_tm_join_testAidname1张三2李四3王五cl_tmp.tmp_tm_join_testBidage226328429
2020-11-27 17:48:44
280
原创 CDH运维 impala服务异常监控 + 钉钉告警
CDH运维 impala服务异常监控 + 钉钉告警前言公司目录获取钉钉信息Python脚本发送钉钉信息设置定时任务获取钉钉信息获取到的webhook 与 加签webhook:https://oapi.dingtalk.com/robot/send?access_token=【AAAA】 （此处用【AAAA】代替真实环境数据）加签:【BBBB】 （此处用【BBBB】代替真实环境数据）编辑Python3.x脚本发送钉钉通知#!/home/user/nlpconda/
2020-11-19 10:50:41
1304
原创 CDH运维 透明大页面
CDH运维 透明大页面前言维护CDH过程中，检查主机发现有一台机器开启过大透明页，出现性能告警，现将其关闭，顺便了解一下透明大页面目录解决方案了解什么是透明大页面解决方案正如报警所示，执行两段命令即可echo never > /sys/kernel/mm/transparent_hugepage/defragecho never > /sys/kernel/mm/transparent_hugepage/enabled为了防止系统重启，初始化更新上述值，还需如
2020-11-17 16:13:23
607
原创 CDH运维 swap处理
CDH运维swap处理博主在使用CDH 6.2大数据平台时发现，CDH长时间运行，Cloudera Manager管理页面在运行Spark任务时候经常会出现组件大量内存交换警告，前期博主直接忽略，毕竟不是什么大问题，后期发现如果长时间黄色警告不处理，会误导页面查看集群状态，并且交换空间所占用磁盘空间越来越大，并且警告越来越多，后续还会有从黄色变为红色异常等情况，后进入管理界面发现，CDH在安装时，Linux操作系统，有选择交换空间地址交给CDH内存不足情况下使用，测试发现手动释放会解决，管理界面警告问题
2020-11-17 11:43:15
1814
原创 hive分区表操作指南
hive分区表操作目录分区参数介绍分区表的创建数据插入方式hive 分区在hive表中实际就是在表下面的一层目录分区参数介绍-- 设置动态分区参数(开启动态分区，一般使用前两个参数就就可以)set hive.exec.dynamic.partition=true; -- 使用动态分区，默认false-- strict可设置为静态和半动态，要求至少包含一个静态分区列，且放在最前面-- nonstrict可设置为静态、半动态和动态，动态必须设置此参数。set hive.exec.d
2020-11-16 20:55:52
356
原创 Linux 系统根目录的含义讲解
Linux 系统根目录讲解写这篇blog的意义是更好的理解CDH安装后，相关文件的位置。同理也可以更好理解系统目录设置的含义目录总体结构含义/binbinary是二进制执行文件目录，主要用于具体应用包含二进制可执行文件。系统的所有用户使用的命令都设在这里，例如：ps，ls，ping，grep，cp等。/boot包含引导加载程序相关的文件。内核的initrd、vmlinux、grub文件位于/boot下。例如：initrd.img-2.6.32-24-generic、vmlin
2020-11-13 11:57:53
1257
原创 the control process exited with error code
记录一次虚拟机网络连接不上问题昨天还在使用的三台centos7.4机器，之前已经配置过静态ip172.16.43.160 hadoop01172.16.43.161 hadoop02172.16.43.162 hadoop03今天重启，其中两台(hadoop01 hadoop02)不能访问故障排查查看了hadoop01（172.16.43.160）的 /etc/sysconfig/network-scripts/ 目录下网络配置文件，确认了文件没有问题TYPE="Ethernet"PR
2020-10-13 13:48:34
7094
3
原创 hive 报错NoViableAltException
hive 报错NoViableAltException报错内容NoViableAltException(-1@[123:1: selectItem : ( ( tableAllColumns )=> tableAllColumns -> ^( TOK_SELEXPR tableAllColumns ) | ( expression ( ( ( KW_AS )? identifier ) | ( KW_AS LPAREN identifier ( COMMA identifier )* RP
2020-09-23 16:08:21
11209
原创 hive 判空处理的三种处理方法
hive 判空处理的三种处理方法CASE WHEN语法CASE Statement使用方式一SELECT CASE opt_date --简单case函数:写法简洁 WHEN "年" THEN 1 WHEN "月" THEN 0 ELSE 0 END AS date_typeFROM cl_ods.ods_erp_income_diLIMIT 10;方式二SELECT CASE --case搜索函
2020-09-17 12:13:47
3322
原创 代码中超魔性图片注释
代码中超魔性图片注释马儿 _(\_/) ,((((^`\ (((( (6 \ ,((((( , \ ,,,_ ,((((( /"._ ,`, ((((\\ ,... ,(((( / `-.-'
2020-06-09 15:15:15
4960
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人