自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

李玉志的博客

不积跬步,无以致千里;不积小流,无以成江河

  • 博客(7)
  • 收藏
  • 关注

原创 抽取Vcenter数据之抽取100条以外的额外所有数据

遇到的问题当我们利用Vsphere Web SDK获取Vsphere数据的时候,当资源信息大于100条的时候,我们利用最基本的API的时候只能抽取到了100条数据,那么这个问题怎么解决呢?这个时候我们就该用到另一个高级的方法来配合基本的API来完成所有数据的抽取工作。最基本的API来抽取最多100条数据Map<ManagedObjectReference, Map<String,...

2018-10-30 20:59:33 358

原创 SpringMVC拦截去之HandlerInterceptorAdapter的使用

定义HandlerInterceptorAdapter是SpringMVC中的拦截器,它是用于拦截URL请求的,主要是为了请求的预处理和后续处理。使用方法编写代码我们只需要自定义一个拦截器去继承HandlerInterceptorAdapter这个抽象类就可以了,这个类提供了三个方法,我们只需要根据自己的业务需求来覆写这个三个方法就可以了public class CustomerInte...

2018-10-24 11:13:23 2398

原创 推荐系统(一)基于协同过滤算法开发离线推荐

基于类别来统计各个电影评分的Top在电影评分数据中根据电影的id进行分组,然后算出每个电影的平均分利用电影信息数据与统计后的数据进行Join操作,让每个电影与对应的分数对应起来将电影的所有类别的RDD与join以后的数据信息RDD进行笛卡尔积的操作,主要是为了过滤出与电影类型能够匹配上的电影信息数据。去除冗余数据,也就是业务逻辑不需要的数据信息,也就是数据中不需要的字段。...

2018-10-22 19:05:00 4375 1

原创 Spark(三十)Spark SQl内置函数

def concat_ws(sep: String, exprs: Column*): Column =?作用:将多个字段与一个字符串拼接起来

2018-10-17 10:34:14 667

原创 Centos7 yum安装 Nodejs

第一步curl --silent --location https://rpm.nodesource.com/setup_10.x | sudo bash -第二步sudo yum -y install nodejs第三步node -vnpm -v总结:以上的安装方式是从Centos安装yum安装Nodejs官网参考的...

2018-10-16 18:01:55 985

原创 Spark(二十九)Spark属性配置

Spark属性Spark有很多的属性,这些属性可以根据实际业务场景来进行配置,使得应用程序能够更快的、更有效的执行。静态配置Spark属性静态配置属性指的就是我们可以在代码中利用SparkCof中的set()方法来设置Spark的属性,set()方法接受接受的键值对SparkConf.set(key,value) def main(args: Array[String]): Unit = ...

2018-10-08 20:28:06 349

原创 Spark Streaming(二十八)性能调优

定义在SparkStreaming应用程序中有很多能够优化的地方,这样的优化可以提高应用的运行效率。减少批处理的时间SparkStreaming的优化可以大大提高每个批次的处理时间,每个批次处理其实就是操作RDD,那么怎么样才能缩短操作RDD的时间呢,那我们就可以参考Spark Core(十九)Spark性能的调优来尽可能的减少批处理的时间。增加接收数据的并行度应用程序在处理网络传输过来...

2018-10-01 09:09:18 972 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除