2017年10月_大数据运维

10月 09月 07月 06月 02月 01月

原创 EasyPR-Java新能源车牌识别

EasyPR中主要涉及到蓝色底牌与黄色底牌的车牌识别，随着新能源车辆的发展，目前已经出现绿色底牌的车牌，因此有必要增加绿色车牌的识别。 EasyPR中关于车牌的识别，已经比较完善，这里主要涉及到三个地方的修改。添加颜色在自定义Color的枚举类中，添加绿色，修改之后为：public enum Color { UNKNOWN, BLUE, YELLOW, GREEN};添加绿色识

2017-10-19 19:41:19 4567 7

转载各种典型反爬虫套路

反击爬虫，前端工程师的脑洞可以有多大？

2017-10-17 11:03:47 2994

转载微博分析报告学习

一份微博分析报告，本文主要将网页内容截屏为图片，主要用于学习，有兴趣的同学可以到原文微博传播效果分析

2017-10-15 16:41:07 1297

原创 Phantomjs服务模式：从性能并发方面谈起

作为比较好的动态网页爬虫手段，phantomjs在许多方面令人比较满意。调用Phantomjs的方式，一般有如下几种情况。命令行模式在CMD或Shell中，直接输入phantomjs回车，进入命令行模式，能够完成各种操作。但一般情况是通过命令用调用phantomjs来完成爬虫或模拟工作，具体的代码放在JS中。如../bin/phantomjs --debug=yes ./server.js 89

2017-10-13 11:50:29 3252

原创 Weibo单节点爬虫设计

微博目前开发数据接口，如果用于商业用途最好通过此接口来获取微博数据。作者爬去少量数据，仅用于研究学习。

2017-10-12 20:56:29 1071

原创 RSA 加密算法备忘

import java.io.UnsupportedEncodingException;import java.math.BigInteger;import java.security.InvalidKeyException;import java.security.KeyFactory;import java.security.NoSuchAlgorithmException;impor

2017-10-11 21:06:26 908

原创 Crontab整点运行问题

无论是使用Linux自带crontab程序，还是使用cron-utils的crontab语法解析，都存在整点运行问题。问题来源使用crontab语法的时候，如果是固定间隔运行，如0 0/5 * * * *30 */30 * * * *...其中分钟间隔只能是60的因子，如果不是60的因子，那么存在整点运行问题。如运行计划为10 0/29 * * * *那么运行时刻可能为Mon Oct 09

2017-10-09 15:25:14 4522 2

原创 Spark RDD/DataFrame map保存数据的两种方式

使用Spark RDD或DataFrame，有时需要在foreachPartition或foreachWith里面保存数据到本地或HDFS。直接保存数据当然如果不需要在map里面保存数据，那么针对RDD可以有如下方式val rdd = // target rddrdd.saveAsHadoopFile // add some parameters 针对DataFrame可以有如下方式保存数据val

2017-10-06 11:55:15 7586

阿里开发手册最新版

阿里Java开发手册最新版，通过研究行业领头羊的技术规范，提高自身的技术能力，跟上行业前进步伐。

2017-09-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

阿里开发手册 最新版

空空如也

阿里开发手册最新版