- 博客(4)
- 资源 (5)
- 收藏
- 关注
原创 Ubuntu<使用crontab执行定时爬虫任务>
之前在windows下使用python 脚本调用爬虫程序,做成定时任务的时候,都挺顺利的,以下是代码video_command.py# -*- coding: utf-8 -*-# !/usr/bin/python2.7import osimport timedef run_spider(spider_name, folder_name): try: c
2017-11-07 16:54:23 652
原创 spark<实现SQL中的GroupBY后取组内TopN>
实现的思路是使用Spark内置函数,combineByKeyWithClassTag函数,借助HashSet的排序,此例是取组内最大的N个元素一下是代码:createcombiner就简单的将首个元素装进HashSet然后返回就可以了;mergevalue插入元素之后,如果元素的个数大于N就删除最小的元素;mergeCombiner在合并之后,如果总的个数大于N,就从一次删除最小的元素,知道Hash
2017-11-06 10:34:08 3607
原创 Redis4.0.2<Centos上安装redis>
环境:Centos 1708redis4.0.2准备:yum install gccyum install tcl在官网上下载了redis-4.0.2.tar.gz之后,使用tar命令解压 make MALLOC=libc完成之后会发现src目录下多了几个文件(粗体部分) 启动redis服务:至此redis安装成功了
2017-11-05 14:45:30 845
原创 Scala<apply的几种用法>
1.只是一个快捷方式首先定义个object:object Greet { def apply(name: String): Unit = { println("Call From %s".format(name)) }}object Main { def main(args: Array[String]): Unit = { Greet.apply("Gpwner")
2017-11-02 11:56:20 3260
Tomcat安装程序
2016-05-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人