通过Sockets对网络请求拦截并转发的思路和简单实例(Java)

前一阵子突然对网络安全和数据传输这方面有了点兴趣,加上朋友介绍了新的CrossWall的工具,便也想自己做个小工具试试看。 因为我觉得如果只是简单的使用工具,而不去深入理解原理,作为一个程序员就不会有进步。 这里只是分享一下我的思路和简单的例子,并没有使用复杂的数据加密和协议(像SSR)。 ...

2019-03-19 14:10:51

阅读数 106

评论数 0

基于大数据的日志服务的搭建

一. 背景及需要实现的功能: 1. 按照固定格式采集日志【Hadoop+Flume+log4j进行数据采集】 2. 日志数据清洗【定时器+MapReduce+Java/Spark+Scala,从Hadoop读取数据并处理后,存储到Hbase】 3. 数据查询接口【以服务的方式提供数据查询接口...

2019-01-24 13:13:26

阅读数 342

评论数 1

使用MapReduce对Hadoop下的日志记录进行分析处理

一. 简介 MapReduce是一个高性能的批处理分布式计算框架,用于对海量数据进行并行分析和处理。与传统方法相比较,MapReduce更倾向于蛮力去解决问题,通过简单、粗暴、有效的方式去处理海量的数据。通过对数据的输入、拆分与组合(核心),将任务分配到多个节点服务器上,进行分布式计算,这样可以...

2018-10-26 15:28:24

阅读数 277

评论数 0

Linux下Hadoop+Flume的日志系统搭建

一. 简介 Apache Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。可以让用户在不了解分布式底层细节的情况下,开发出可靠、可扩展的分布式计算应用。 Apache Hadoop 框架,允许用户使用简单的编程模型来实现计算机集群的大型数据集的分布式处理。它的目的是支持...

2018-10-26 14:24:55

阅读数 685

评论数 1

在Windows下用Apache+wsgi部署python+flask项目

一. 安装Apache 从http://www.apachelounge.com/download/  下载最近版本的Apache 解压到D盘下,我的80端口已经被占用了,所以需要修改配置文件:D:/Apache24/conf/httpd.conf 找到Define SRVROOT,改为: ...

2018-09-06 10:33:10

阅读数 1043

评论数 1

Neo4j的使用与Java调用实例

一. Neo4j简介:Neo4j是一个高性能的,NoSQL图形数据库,它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎,但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎,该引擎具有成熟...

2018-06-25 17:22:32

阅读数 7464

评论数 2

在windows下的Jeesite框架下集成Redis集群

最近想使用Redis集群做缓存,由于公司一直在用Jeesite框架,所以尝试了一下两者进行集成。Jeesite原本就支持EhCache和Redis两种方式做数据缓存,但并没有做Redis集群。本以为简单的配置就能实现,没想到调查了整整一天,所以觉得有必要把整个配置过程和踩过的坑记录下来,方便大家使...

2018-03-21 15:00:03

阅读数 1523

评论数 3

Node.js+MongoDB的环境搭建+学习实例

春节前闲来无事,整理了一下以前学习的Node.js和NoSql数据库的资料,总结了自己一路踩过来的坑,希望能对初学者有帮助。在开发环境搭建和实例编写之前,还是需要先了解一下基本概念。参考文章:1. 目前流行的几个NoSql数据库对比2. 深入了解MongoDB的mmap(内存映射文件)的原理3. ...

2018-02-12 16:19:51

阅读数 1878

评论数 0

Nginx+Tomcat集群实现反向代理负载均衡和Session复制

以前写过一篇Apache+Tomcat集群的文章,最近正好有空,把Nginx+Tomcat也写一下做为比较。 首先,用Nginx和Apache+Tomcat做集群的区别,我就直接从网上找了点资料。 主要区别在于,Apache是同步多进程模型,一个连接对应一个进程。Nginx是异步多进程模型,多...

2018-01-25 16:51:02

阅读数 278

评论数 0

Mybatis+SQL Server使用过程中的优化

最近在数据库的使用和优化方面遇到很多问题。 不但将数据库从MySQL改到了SQL Server,在SQL语句的调优方面也下了很多功夫。 在这里将遇到的问题做个总结。 一. 查询速度优化 影响查询速度的原因很多,查询的列数,Join表,索引,检索条件等。 1.首先,我减少了查询的字段。 ...

2017-12-22 16:21:41

阅读数 553

评论数 0

使用POI进行Excel导入时解决的一些问题

最近在用POI做Excel导入,用了公司的共通,本以为应该很顺利,但是在实际使用过程中遇到了不少为题。这里做一下总结。 一.大文件导入 POI在导入数据的数据量很大的时候会有问题,Excel压根就读不进来。 网站上查了一下,需要将Excel转换成CSV后导入。 将导入方法稍作修改后的代码如...

2017-12-15 15:51:07

阅读数 1634

评论数 0

使用Java完成网上支付(2. 支付宝&微信)

一. 账号申请 1. 打开https://b.alipay.com/newIndex.htm,注册账号 2. 点击“即时到账” 3. 查阅相关说明后,点击“立即签约” 4. 因为我这里没有相关材料,所以只能到这里为止了 二. 接口开发教程 1. 拥有自己...

2017-05-03 11:50:07

阅读数 997

评论数 0

使用Java完成网上支付(1. 银联)

一. 账号申请 1. 打开网址,并注册 https://merchant.unionpay.com/cas/login?service=http%3A%2F%2Fmerchant.unionpay.com%2Fmcms%2F&subSysId=23E776SABEC134ADFF89223...

2017-05-03 11:38:19

阅读数 2158

评论数 0

使用阿里大鱼发送短信

最近看到同事在使用阿里大鱼实现短信发送功能,稍微学了下,果然挺方便的,下面把使用方法共享一下。 1.注册账号: 去 http://www.alidayu.com/?spm=a3142.7791109.1999204071.1.flonP4 注册 注册完成后,系统会自动生成appkey和s...

2017-04-19 14:22:14

阅读数 4473

评论数 0

icepdf中使用BufferedImage时内存溢出的解决方法

最近项目中需要将pdf转成图片,网上找了各种开源的工具,发觉icepdf用的人比较多。 但是在实际使用过程中,遇到几个问题。 1. 出现jpeg2000的错误: ImageIO missing required plug-in to read JPEG 2000 images. You can...

2017-04-06 17:18:27

阅读数 3955

评论数 0

Java锁定USB

锁定方法:修改注册表锁定USB,用了一个Timer不停的锁,以防被手动修改注册表解锁。 经测试,可能被360等防火墙给拦截。 USBTimer.java package com.sun.usb; import java.util.Date; import java.util.Tim...

2017-04-06 10:09:25

阅读数 596

评论数 1

Java调用ffmpeg进行视频转换

最近客户不知道从哪里拿来了很多MP4,上传到系统后无法在网页上直接用H5播放。 用格式工厂将编码改为H264也播放不了,无奈之下,查询了一下网上的资料,用ffmpeg自己写了上传文件的转码功能。 首先,去 https://ffmpeg.zeranoe.com/builds/ 下载最新的ffmpeg...

2017-03-29 16:53:04

阅读数 7610

评论数 7

从零开始使用Maven(三)Maven的聚合工程

我们在开发2个以上模块的时候,每个模块都是一个Maven Project。比如搜索平台,学习平台,考试平台。 开发的时候可以自己管自己独立编译,测试,运行。 但如果想要将他们整合起来,我们就需要一个聚合工程。 比如: maven-manage(Maven Project)   |- ma...

2017-03-08 14:24:08

阅读数 8603

评论数 0

从零开始使用Maven(二)搭建Nexus私服

下载地址:http://www.sonatype.org/nexus/go  1.解压以后,可以看到jsw目录下面有各个版本的nexus环境 2.我选的是windows-x86-64 直接用install-nexus.bat将nexus注册成windows服务即可。 3.nexus的端口...

2017-03-08 14:10:31

阅读数 592

评论数 1

从零开始使用Maven(一)创建Maven项目

最近在学习Maven,以前倒也不是没有用过,但是总是没有深入去了解,现在分享一下最近学习的心得及Maven的用法,希望能帮到初学者。 一. 首先,Maven是什么?网上搜到的通俗点的说法是这样的: Maven是一个项目构建和管理的工具,提供了帮助管理 构建、文档、报告、依赖、scms、发布、分发...

2017-03-08 13:54:12

阅读数 13166

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭