- 博客(6)
- 收藏
- 关注
RSS订阅原创 java.lang.RuntimeException: native-lzo library not available解决方案
20/05/30 11:42:50 INFO hdfs.BucketWriter: Creating /origin_data/gmall/log/topic_event/2020-05-29/logevent-.1590810087777.lzo.tmp20/05/30 11:42:50 ERROR hdfs.HDFSEventSink: process failedjava.lang.RuntimeException: native-lzo library not available at com
2020-08-20 19:23:11
2159
原创 Scala maven pom.xml
自己的备注 <dependencies> <!-- https://mvnrepository.com/artifact/org.scala-lang/scala-library --> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artif
2020-08-11 19:48:53
520
原创 使用scala编写org.apache.commons.beanutils.BeanUtils.copyProperties时目标对象属性为空的错误问题
scala BeanUtils.copyProperties问题在尝试使用如下语句复制对象时:BeanUtils.copyProperties(destBean, sourceBean)debug发现destBean的各个属性都为空进查询，要使用copyProperties复制对象属性，Bean中的每个字段都要实现getXXX和setXXX方法问题解决在自定义的Bean类中自己实现对应的getXXX和setXXX方法，或者采用如下方式快速设置(在与JavaBeans互相操作时常用到)...
2020-07-17 17:22:49
444
原创 class SequenceFileOutputFormat takes type parameters
在使用scala编写MR时报“class SequenceFileOutputFormat takes type parameters”的错误。问题的原因在java中，代码是这样写的：job.setOutputFormatClass(SequenceFileOutputFormat.class);如果仿照上面的代码写出scala的代码：job.setOutputFormatClass(classOf[SequenceFileOutputFormat])就会引发：“class Sequence
2020-06-29 09:45:55
446
原创 scala中只有一个函数入参的小括号使用
scala中只有一个函数入参的小括号使用object brackets{ /* 高阶函数：入参只有一个可以去掉小括号 普通函数：入参只有一个不可以去掉小括号 */ def main(args: Array[String]): Unit = { // 这里的匿名函数即便是只有一个入参也无法去掉小括号 val f = (x:Int) => x.toStri...
2020-04-17 11:24:58
235
原创 使用docker构建hadoop+spark全分布式集群环境
使用docker构建hadoop+spark全分布式集群环境之所以用docker来构建集群环境而不采用虚拟机有如下方面的原因1 在一台8G内存的笔记本上也可以运行全分布式集群环境，采用虚拟机（如vmware）的话根本是不可能的。2 构建好镜像后，可以在任何平台上运行。方便移植和学习3 按照微服务的设计原则，应该是最小化服务的方式，但是东西学的太死就没有必要了集群的架构规划如下：集群的...
2020-04-09 11:16:44
2440
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人