Linux定期文件压缩脚本

python脚本,服务器crontab定期执行即可: #!/usr/bin/python ''' logZipUtil.py ''' import os import datetime import zipfile year = datetime.datetime.now().yea...

2018-07-20 16:14:41

阅读数 438

评论数 0

MySQL单表查询优化技巧汇总

csdn原文:http://blog.csdn.net/zhu19774279/article/details/46473981 本文的原文地址在此:https://www.percona.com/blog/2015/04/27/indexing-101-optimizing-mysql-q...

2017-09-19 16:16:37

阅读数 2055

评论数 2

shell脚本定时kill超过1小时的指定命令

实践中,经常发现有些shell命令长期执行,于是整理一程序,crontab定时清理下: #!/bin/sh p_name=phantomJs while true do sleep 3 #every 3s check pid="$(ps -ef|grep $p_name|awk '{...

2017-09-09 12:11:38

阅读数 823

评论数 0

spark streaming程序因集群kafka版本不一致造成ZkUtils类无法更新offset解决方案

问题: 因为CDH集群环境问题,我spark streaming程序的依赖就依照其版本来进行,但这就遇到一个问题,集群spark2支持的kafka版本是0.9.0,而我们程序操作zookeeper的ZkUtils类就不兼容了。 解决方案: 重新KafkaCluster类,兼容集群版本。 原程序...

2017-06-30 14:18:05

阅读数 2334

评论数 0

Sqoop2.0 mysql sql查询结果导入hdfs脚本

使用脚本原因 使用脚本的原因是为了适配hue操作,因为hue上sqoop的命令--query查询分隔符和其自身命令分隔冲突,无法使用空格区分是sqoop命令还是--query下命令。  Sqoop支持将任意的查询结果集导入,不使用--table、--columns和--where,使用SQL语句-...

2017-06-20 14:08:02

阅读数 1514

评论数 0

基于Spark Streaming和Spark MLlib实现文本情感分析

前言: 文章主要是学习实验楼《使用Spark MLlib进行情感分析》课程后的总结,这里只简单说明,没有具体操作步骤。代码和操作步骤可去课程实践获得,也可在我的资源下载中找到(资源中除课程介绍的随机森林模型训练数据方法,我还加入了自己学习使用朴素贝叶斯模型训练数据的方法)。项目实际利用推特上的数据...

2017-01-22 16:33:26

阅读数 4303

评论数 0

缓存穿透,缓存击穿,缓存雪崩解决方案分析

前言 设计一个缓存系统,不得不要考虑的问题就是:缓存穿透、缓存击穿与失效时的雪崩效应。 缓存穿透 缓存穿透是指查询一个一定不存在的数据,由于缓存是不命中时被动写的,并且出于容错考虑,如果从存储层查不到数据则不写入缓存,这将导致这个存在的数据每次请求都要到存储层去查询,失去了缓存的意义。在流量大时...

2017-01-06 11:12:50

阅读数 78119

评论数 14

分组Top N问题(三) - sql及Hive实现

前言: 同上篇Hadoop MapReduce 实现分组Top n介绍一样,这次学习Hive实现分组Top n。 案例: 在数据处理中,经常会碰到这样一个场景,对表数据按照某一字段分组,然后找出各自组内最大的几条记录情形。针对这种分组Top N问题,我们利用Hive、MapReduce等多种工具实...

2016-11-25 16:44:25

阅读数 4150

评论数 0

分组Top N问题(二) - Hadoop MapReduce实现

前言: 在Hadoop中,排序是MapReduce的灵魂,MapTask和ReduceTask均会对数据按Key排序,这个操作是MR框架的默认行为,不管你的业务逻辑上是否需要这一操作。 技术点: MapReduce框架中,用到的排序主要有两种:快速排序和基于堆实现的优先级队列(PriorityQu...

2016-11-25 16:23:07

阅读数 4356

评论数 3

分组Top N问题(一) - java实现Top n算法基础

前言: 在分析MapReduce、Hive、Redis和Storm、Spark等工具实现分组Top n问题前,我们先看下java最原始实现Top的方法有哪些,为后面奠定些基础,这也是我要整理成一个系列的原因。 对于Top n问题,这里根据数据特点用合并法、快排过程法、大小顶堆和PriorityQu...

2016-11-25 14:58:46

阅读数 7591

评论数 7

hive常用UDF and UDTF函数介绍-lateral view explode()

前言: Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。这里只大概说下Hive常用到的UDF函数,全面详细介绍推荐官网wiki:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF。 定...

2016-11-23 14:13:06

阅读数 8420

评论数 0

基于WebRTC实现页面浏览器视频通话-原理及实现demo

基于Chrome、Java、WebSocket、WebRTC实现浏览器视频通话,整个例子中Java+WebSocket起到的作用是负责客户端之间的通信,并不负责视频的传输,视频的传输依赖于WebRTC。

2016-10-20 10:47:07

阅读数 8429

评论数 1

分布式延迟消息队列实现分析与设计

延迟队列,顾名思义它是一种带有延迟功能的消息队列。 那么,是在什么场景下我才需要这样的队列呢? 很多时候我们会有延时处理一个任务的需求,比如说: 2个小时后给用户发送短信。 15分钟后关闭网络连接。 2分钟后再次尝试回调。 下面我们来分别探讨一下几种实现方案: Java中的DelayQueue...

2016-09-29 17:35:37

阅读数 6482

评论数 0

常用正则表达式规则例子整理

Email地址:^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$ 域名:[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.? InternetURL:[a-zA-z]+://[...

2016-09-22 17:31:28

阅读数 4118

评论数 1

解决Hash碰撞冲突方法总结

Hash碰撞冲突 我们知道,对象Hash的前提是实现equals()和hashCode()两个方法,那么HashCode()的作用就是保证对象返回唯一hash值,但当两个对象计算值一样时,这就发生了碰撞冲突。如下将介绍如何处理冲突,当然其前提是一致性hash。 1.开放地址法 开放地执法有一...

2016-09-18 15:46:05

阅读数 31026

评论数 3

微服务要素-十二要素(The Twelve Factors)

如今,软件通常会作为一种服务来交付,它们被称为网络应用程序,或“软件即服务”(SaaS)。“十二要素应用程序”(12-Factor App)为构建如下的SaaS应用提供了方法论: 将开发环境和生产环境的差异降至最低,并使用持续交付实施敏捷开发;这套理论适用于任意语言和后端服务(数据库、消息队列、缓...

2016-09-14 11:45:57

阅读数 10933

评论数 1

java实现一定规则下的时间段或单元数统计

前期统计根据一定规则来统计,目前规则是8点12点算一个单位,12点到次日8点算一个单位。和时间段内时间长短无关。演播室使用统计中加班时段为每天的00:00-8:00,12:00-14:30,18:00-24:00,以及周末节假日全天。如果任务单时间属于加班时间内,需要统计出加班时间。统计中正常使用...

2016-08-25 17:38:20

阅读数 3531

评论数 0

实现页面跳转后,原页面弹窗且不让后页面失去焦点-javascript函数执行顺序问题

首先先看看这个javascript脚本,需要说的是,这个脚本在IE、火狐上执行顺序是没有问题,但在谷歌、360等浏览器上就不能按顺序走;在没做定时器前,页面无法跳转;做了定时后,页面跳转后,定时的弹窗让跳转页面失去焦点。

2016-08-19 15:32:25

阅读数 2790

评论数 0

微服务应用-基于Spring Cloud和Reactor构建网上商店微服务(下)

上篇主要是讲解理论知识和项目架构要点,这篇将集中在微服务中使用Spring Boot、Spring Cloud和Project Reactor实现事件溯源的原始主题。文章中也会介绍项目实现一些技术细节,项目Git下载地址:https://github.com/kbastani/spring-clo...

2016-08-02 23:20:08

阅读数 8510

评论数 9

微服务应用-基于Spring Cloud和Reactor构建网上商店微服务(上)

和之前的开源社区项目:基于Spring Cloud和Docker构建电影推荐微服务(spring-cloud-microservice-example)一样,这次翻译的是基于Spring Cloud和Reactor实现Event Sourcing事件溯源构建网上商店微服务(spring-cloud...

2016-08-02 18:53:36

阅读数 13854

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭