自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 【spark基础】之client模式下--conf读取外部文件

本文以spark on yarn下的client为例进行说明

2020-06-27 21:46:41 916

原创 Ambari平台hive metaStore突然无法启动Schema script failed, errorcode 2

生产环境因为调整配置,需要重启hiveserver和metastore两个服务,hiveserver很容易就起来了,但是metastore死活都不行,查看日志:可以看出hive执行了metastore的初始化操作,这一点我也很疑惑,只是重启一下hive,为什么会造成初始化?当然,出了问题就要解决,我们接着看报错部分:可以看出,metastore初始化的时候会重新建表、建索引,而问题...

2019-09-30 16:14:08 1810

原创 记一次解决spark-submit写入oracle报错问题

先上代码://结果数据临时写入ods result.write.mode("append") .format("jdbc") .option("url", KlaAppEnv.ODSURL) .option("dbtable", KlaAppEnv.ODSDB) .option("user", KlaAppEnv.ODSUSER) ...

2019-08-20 10:22:38 815

原创 Spark操作HBase执行卡住无响应问题解决

开发HBaseUtil工具类的时候,测试增删改查功能,发现无论哪一个都无法执行,程序卡在最后一步操作数据位置不动,也不报错,检查代码也未发现问题,经过漫长的排查,居然是配置文件中zookeeper的服务器列表之间多了空格!!!Configuration configuration = HBaseConfiguration.create(); configuration.set...

2019-06-19 12:06:48 1233

原创 Java中分布式案例的实现方法

//业务需求: ①一台计算机作为客户端向多台服务端计算机发送jar包和执行该jar包的命令,多台服务端计算机执行该jar包然后将结果返回给客户端计算机; ②本案例要做的是统计多台计算机上指定文件中单词的数量。 代码如下: 1. ConvertUtils自定义类public class ConvertUtils { public static byte[] intToByte(int

2017-03-19 21:39:05 1161

原创 反射在注册登录案例中的应用

//业务需求:注册登录案例中需要构建客户端和服务端,实现注册账号、密码并进行登录的要求,下面简述该案例的逻辑代码。 1.首先是客户端import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.InputStreamReader; import java.io.OutputStreamWriter;

2017-03-17 21:16:34 496

原创 对url字符串中域名的三种截取方式

//业务需求:将网站URL地址进行截取,获得网站的主域名。 //3种截取方式:切分,indexOf截取,正则表达式截取 代码如下: public class Test1 { public static void main(String[] args) { String Str = “http://www.baidu.com/free/play?chapterId=7

2017-03-14 21:10:53 14598

原创 对文本文件中的单词统计出现的次数(即词频)并按词频的从高到低排序

//业务需求:求给定words.txt中的相同单词出现的次数(即词频),并按照单词出现次数的从高到低排序!(原文本文件中只有单词和空格,且全为小写)//关键词 IO流 HashMap ArrayList//业务分析:1.读入文件,拿到内容;2.解析文件,进行切分;3.将每个单词放入集合;4.统计出现次数并排序代码如下:public class Test33 {public ...

2017-03-13 19:43:28 15227

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除