- 博客(7)
- 收藏
- 关注
原创 抽取Vcenter数据之抽取100条以外的额外所有数据
遇到的问题当我们利用Vsphere Web SDK获取Vsphere数据的时候,当资源信息大于100条的时候,我们利用最基本的API的时候只能抽取到了100条数据,那么这个问题怎么解决呢?这个时候我们就该用到另一个高级的方法来配合基本的API来完成所有数据的抽取工作。最基本的API来抽取最多100条数据Map<ManagedObjectReference, Map<String,...
2018-10-30 20:59:33 358
原创 SpringMVC拦截去之HandlerInterceptorAdapter的使用
定义HandlerInterceptorAdapter是SpringMVC中的拦截器,它是用于拦截URL请求的,主要是为了请求的预处理和后续处理。使用方法编写代码我们只需要自定义一个拦截器去继承HandlerInterceptorAdapter这个抽象类就可以了,这个类提供了三个方法,我们只需要根据自己的业务需求来覆写这个三个方法就可以了public class CustomerInte...
2018-10-24 11:13:23 2398
原创 推荐系统(一)基于协同过滤算法开发离线推荐
基于类别来统计各个电影评分的Top在电影评分数据中根据电影的id进行分组,然后算出每个电影的平均分利用电影信息数据与统计后的数据进行Join操作,让每个电影与对应的分数对应起来将电影的所有类别的RDD与join以后的数据信息RDD进行笛卡尔积的操作,主要是为了过滤出与电影类型能够匹配上的电影信息数据。去除冗余数据,也就是业务逻辑不需要的数据信息,也就是数据中不需要的字段。...
2018-10-22 19:05:00 4375 1
原创 Spark(三十)Spark SQl内置函数
def concat_ws(sep: String, exprs: Column*): Column =?作用:将多个字段与一个字符串拼接起来
2018-10-17 10:34:14 667
原创 Centos7 yum安装 Nodejs
第一步curl --silent --location https://rpm.nodesource.com/setup_10.x | sudo bash -第二步sudo yum -y install nodejs第三步node -vnpm -v总结:以上的安装方式是从Centos安装yum安装Nodejs官网参考的...
2018-10-16 18:01:55 985
原创 Spark(二十九)Spark属性配置
Spark属性Spark有很多的属性,这些属性可以根据实际业务场景来进行配置,使得应用程序能够更快的、更有效的执行。静态配置Spark属性静态配置属性指的就是我们可以在代码中利用SparkCof中的set()方法来设置Spark的属性,set()方法接受接受的键值对SparkConf.set(key,value) def main(args: Array[String]): Unit = ...
2018-10-08 20:28:06 349
原创 Spark Streaming(二十八)性能调优
定义在SparkStreaming应用程序中有很多能够优化的地方,这样的优化可以提高应用的运行效率。减少批处理的时间SparkStreaming的优化可以大大提高每个批次的处理时间,每个批次处理其实就是操作RDD,那么怎么样才能缩短操作RDD的时间呢,那我们就可以参考Spark Core(十九)Spark性能的调优来尽可能的减少批处理的时间。增加接收数据的并行度应用程序在处理网络传输过来...
2018-10-01 09:09:18 972 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人