- 博客(10)
- 收藏
- 关注
RSS订阅原创 执行jar包报错：java.lang.IllegalStateException: Could not find policy ‘pick_first‘.
java.lang.IllegalStateException: Could not find policy 'pick_first'. Make sure its implementation is either registered to LoadBalancerRegistry or included in META-INF/services/io.grpc.LoadBalancerProvider from your jar files.
2022-07-06 11:07:53
415
1
转载 两台Linux服务器之间传输文件的四种方法
在日常服务器租用中，有时需要将文件从一台服务器传到另一台服务器，下面给大家介绍四种linux服务器之间传输文件方式。1. scp【优点】简单方便，安全可靠；支持限速参数【缺点】不支持排除目录【用法】scp就是secure copy，是用来进行远程文件拷贝的。数据传输使用 ssh，并且和ssh 使用相同的认证方式，提供相同的安全保证 。命令格式：scp [参数] <源地址（用户名@IP地址或主机名）>:<文件路径> <目的地址（用户名 @IP 地址或主机名）>
2022-02-14 15:32:53
18060
1
原创 离线Spark 任务调优之路一
入职新公司一段时间，接手了前辈开发的spark 引擎，最痛苦的任务开始了，看别人的代码，优化别人的代码，淦！只能一步一步来吧，先调整最棘手的问题。解决数据量承载问题由于之前业务刚开始，数据量较少，但是如今用户增长，数据量增加，一些配置不再适合现今的业务。第一个问题就是，数据入库问题，我们采用的是 spark 读取每日的增量日志（每个业务在70g左右，需要跑7、8个，由于公司太穷了，集群只有 450g + 144core ，所以需要优化，要不直接给大资源完事），将不同的日志类型写入不同的hive表（大
2020-08-26 18:02:08
287
原创 分享一个较全的Flink maven依赖文件
使用的是 scala 版本的flink （flink1.11.0）依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding> <java.v
2020-08-07 15:31:19
2831
2
原创 两个表有不合法字段的连接优化
两个表有不合法字段的连接优化1.连接字段类型统一 类型不同的字段会按类型分配到同一个reduce，会导致某个reduce的数据过多2. 对于连接字段可能缺失的，不合法的，进行过滤 过滤掉的数据会集中到同一个reduce中，还会导致key分布不均匀，某个reduce的数据过多 此时我们需要对不合法的字段赋给一个随机值，把他们分配到不同的reduce中去处理a join b on(c...
2019-10-10 15:11:10
250
原创 Linux下没有my.cnf的情况下开启mysql的binlog导致hive不能建表
我们开启binlog是为了辅助我们的hive首先这种情况在是因为rpm安装的mysql是不会再/etc 下生成my.cnf文件如果我们此时直接拷贝一份其他人的my.cnf到etc下的话，我们的确可以开启binlog，但是我们在hive下却发现不能进行DDL操作了，如：建表会报如下错误：（个人认为可能是别的机器自动生成的my.cnf的配置缺少参数导致hive存放的metstore发生了改变）...
2019-09-24 23:03:39
387
原创 卸载 Linux自带open-jdk
在安装了Oracle的jdk之后发现系统带有openjdk会出现下列情况，就是java -version和javac -version会出现不一样的状态[root@doctortang ~]# java -versionjava version "1.7.0_45"OpenJDK Runtime Environment (rhel-2.4.3.3.el6-x86_64 u45-b15)...
2019-07-13 16:45:11
1197
原创 浅谈软件开发工具CASE在软件项目开发中发挥的作用认识
浅谈软件开发工具CASE在软件项目开发中发挥的作用认识内容摘要：阐述了CASE工具作为 一种开发环境在软件项目开发中所起到的开发及管理作用。CASE工具实际上是把原先由手工完成的开发过程转变为以自动化工具和支撑环境支持的自动化开发过程，为具体的开发方法提供了支持每一过程的专门工具，这不仅解决了从客观对象到软件系统的映射问题，支持系统开发的全过程；还提高了软件质量和软件重用性，加快了软件开...
2019-07-06 12:23:19
3810
原创 Linux（centos7）基础操作
Linux(CentOS7)CentOS7 进入单用户修改root密码方法:1.重启CentOS选择界面 按 e 进入 grub 编辑界面，找到Linux16这行 把 ro （只读readonly）修改成 rw init=sysroot/bin/sh2.Ctrl+x 进入单用户界面3.输入以下命令chroot /sysroot/ --------切换到原系统LANG=en----...
2019-07-03 11:51:17
493
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人