2017年11月_Gpwner

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Ubuntu<使用crontab执行定时爬虫任务>

之前在windows下使用python 脚本调用爬虫程序，做成定时任务的时候，都挺顺利的，以下是代码video_command.py# -*- coding: utf-8 -*-# !/usr/bin/python2.7import osimport timedef run_spider(spider_name, folder_name): try: c

2017-11-07 16:54:23 652

原创 spark<实现SQL中的GroupBY后取组内TopN>

实现的思路是使用Spark内置函数，combineByKeyWithClassTag函数，借助HashSet的排序，此例是取组内最大的N个元素一下是代码：createcombiner就简单的将首个元素装进HashSet然后返回就可以了；mergevalue插入元素之后，如果元素的个数大于N就删除最小的元素；mergeCombiner在合并之后，如果总的个数大于N，就从一次删除最小的元素，知道Hash

2017-11-06 10:34:08 3607

原创 Redis4.0.2<Centos上安装redis>

环境：Centos 1708redis4.0.2准备：yum install gccyum install tcl在官网上下载了redis-4.0.2.tar.gz之后，使用tar命令解压 make MALLOC=libc完成之后会发现src目录下多了几个文件（粗体部分）启动redis服务：至此redis安装成功了

2017-11-05 14:45:30 845

原创 Scala<apply的几种用法>

1.只是一个快捷方式首先定义个object:object Greet { def apply(name: String): Unit = { println("Call From %s".format(name)) }}object Main { def main(args: Array[String]): Unit = { Greet.apply("Gpwner")

2017-11-02 11:56:20 3259