- 博客(8)
- 收藏
- 关注
RSS订阅原创 解决 Mac OS 下罗技鼠标滚轮无法使用问题（滚动失效）
解决 Mac OS 下罗技鼠标滚轮无法使用问题（滚动失效）1，问题描述之前的罗技MX Master鼠标在Mac系统下用的好好的，最近发现滚轮失效。但鼠标移动、左右键点击却又都没问题。2，问题原因可能是罗技的驱动加载有问题，也可能是系统升级后部分配置丢失，导致驱动无法加载。3，解决办法（1）依次打开“系统偏好设置” ->“安全性与隐私” -> “隐私” -> “辅助功能”（2）找到Logitech游戏软件、Logitech options等相关的项目...
2021-09-06 14:27:51
17429
15
原创 解决c5升级c6 spark-submit中文日志乱码问题
在spark-submit的参数中加入如下两个参数--conf spark.driver.extraJavaOptions=" -Dsun.jnu.encoding=UTF-8 -Dfile.encoding=utf-8 " --conf spark.executor.extraJavaOptions=" -Dsun.jnu.encoding=UTF-8 -Dfile.encoding=utf-8 "
2021-06-30 14:01:02
342
原创 yarn web ui接口数据的获取的探索和实现思路
需求背景 公司一项目需对spark程序进行性能分析，单纯从时间的角度去看并不能看出实际的执行性能，就想通过yarn对每个application的资源记录来综合评估。分析yarn的源码发现，yarn的ui在获取application的数据都是通过RMWebServiceProtocol 这个接口来实现的，开始有了一个思路就是：根据 RMWebServiceProtocol这个协议生成一个客户端去访问RM 的服务端，调里面的的一些方法可以拿到具体的信息。后来发现yarn的web ...
2021-06-25 14:12:46
912
原创 遇到AM报内存溢出问题,查证原因是该配置mapreduce.fileoutputcommitter.algorithm.version=1引起
现象在使用spark2.x计算的时候,报AM 内存溢出,疑惑AM都做了哪些处理会使用超过10G的资源。日志显示打印了参数信息File Output Committer Algorithm version is 1 之后爆出内存溢出问题.为什么会造成这个现象Spark 2.x 用到了 Hadoop 2.x，其将生成的文件保存到 HDFS 的时候，最后会调用了saveAsHadoo...
2019-08-09 11:35:50
1558
转载 Oracle账户分享记录
Oracle账户的注册很麻烦并且不常用,这里分享一个oracle账户Oracle帐号：2696671285@qq.comOracle密码：Oracle123
2019-07-11 09:44:52
1047
1
原创 获取脚本名称并杀掉进程
脚本如下:#!/bin/bash#获取脚本名为test.sh的进程号processid=`ps -ef | greptest.sh| grep -v grep | awk '{print $2}'`echo ${processid}kill -9 ${processid}
2019-06-18 17:41:27
207
原创 Hive UDF函数注册
先上传jar包到HDFS永久注册：- CREATE FUNCTION 函数名 AS '包名.类名' USING JAR 'hdfs:///path/xxxx.jar'删除永久函数：- drop function 数据库名.函数名字;临时注册：add jar /path/xx.jar（存储在本地磁盘）// 临时注册UDF函数（hive会话生效）create temporar...
2019-05-13 11:41:56
175
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人