2018年10月_666呀

原创抽取Vcenter数据之抽取100条以外的额外所有数据

遇到的问题当我们利用Vsphere Web SDK获取Vsphere数据的时候，当资源信息大于100条的时候，我们利用最基本的API的时候只能抽取到了100条数据，那么这个问题怎么解决呢？这个时候我们就该用到另一个高级的方法来配合基本的API来完成所有数据的抽取工作。最基本的API来抽取最多100条数据Map&amp;amp;amp;lt;ManagedObjectReference, Map&amp;amp;amp;lt;String,...

2018-10-30 20:59:33 358

原创 SpringMVC拦截去之HandlerInterceptorAdapter的使用

定义HandlerInterceptorAdapter是SpringMVC中的拦截器，它是用于拦截URL请求的，主要是为了请求的预处理和后续处理。使用方法编写代码我们只需要自定义一个拦截器去继承HandlerInterceptorAdapter这个抽象类就可以了，这个类提供了三个方法，我们只需要根据自己的业务需求来覆写这个三个方法就可以了public class CustomerInte...

2018-10-24 11:13:23 2398

原创推荐系统（一）基于协同过滤算法开发离线推荐

基于类别来统计各个电影评分的Top在电影评分数据中根据电影的id进行分组，然后算出每个电影的平均分利用电影信息数据与统计后的数据进行Join操作，让每个电影与对应的分数对应起来将电影的所有类别的RDD与join以后的数据信息RDD进行笛卡尔积的操作，主要是为了过滤出与电影类型能够匹配上的电影信息数据。去除冗余数据，也就是业务逻辑不需要的数据信息，也就是数据中不需要的字段。...

2018-10-22 19:05:00 4375 1

原创 Spark（三十）Spark SQl内置函数

def concat_ws(sep: String, exprs: Column*): Column =？作用：将多个字段与一个字符串拼接起来

2018-10-17 10:34:14 667

原创 Centos7 yum安装 Nodejs

第一步curl --silent --location https://rpm.nodesource.com/setup_10.x | sudo bash -第二步sudo yum -y install nodejs第三步node -vnpm -v总结：以上的安装方式是从Centos安装yum安装Nodejs官网参考的...

2018-10-16 18:01:55 985

原创 Spark（二十九）Spark属性配置

Spark属性Spark有很多的属性，这些属性可以根据实际业务场景来进行配置，使得应用程序能够更快的、更有效的执行。静态配置Spark属性静态配置属性指的就是我们可以在代码中利用SparkCof中的set()方法来设置Spark的属性，set()方法接受接受的键值对SparkConf.set(key,value) def main(args: Array[String]): Unit = ...

2018-10-08 20:28:06 349

原创 Spark Streaming（二十八）性能调优

定义在SparkStreaming应用程序中有很多能够优化的地方，这样的优化可以提高应用的运行效率。减少批处理的时间SparkStreaming的优化可以大大提高每个批次的处理时间，每个批次处理其实就是操作RDD，那么怎么样才能缩短操作RDD的时间呢，那我们就可以参考Spark Core（十九）Spark性能的调优来尽可能的减少批处理的时间。增加接收数据的并行度应用程序在处理网络传输过来...

2018-10-01 09:09:18 972 1

李玉志的博客