2017年04月_Smile_Miracle

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Java爬虫进阶-Selenium+PhantomJs的运用

selenium Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE、Mozilla Firefox、Mozilla Suite等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建衰退测试检验软件功能和用户需求。支持自动录制动作

2017-04-26 18:17:16 27759 17

转载 Java爬虫进阶-HtmlUnit使用解析

大家在做爬虫、网页采集、通过网页自动写入数据时基本上都接触过这两个组件（权且称之为组件吧），网上入门资料已经很多了，我想从实际的应用角度谈谈我对于这两个组件的看法，并记录在博客中，以便日后翻阅，欢迎大家批评指正。本文主要比较两者的优劣性以及介绍应用中的使用技巧，推荐一些入门资料以及非常实用的辅助工具，希望能对大家有所帮助。大家有任何疑问或者建议希望留言给我，一起交流学习。下面我们首

2017-04-25 17:38:19 10265 1

原创 Java爬虫进阶-Jsoup+httpclient获取动态生成的数据

前面我们详细讲了一下Jsoup发现这玩意其实也就那样，只要是可以访问到的静态资源页面都可以直接用他来获取你所需要的数据，详情情跳转-Jsoup爬虫详解，但是很多时候网站为了防止数据被恶意爬取做了很多遮掩，比如说加密啊动态加载啊，这无形中给我们写的爬虫程序造成了很大的困扰，那么我们如何来突破这个梗获取我们急需的数据呢，下面我们来详细讲解一下如何获取String startPage="https://i

2017-04-25 16:16:44 11197

转载 Spring+Shiro权限整合

什么是权限呢？举个简单的例子：我有一个论坛，注册的用户分为normal用户，manager用户。对论坛的帖子的操作有这些：添加，删除，更新，查看，回复我们规定：normal用户只能：添加，查看，回复manager用户可以：删除，更新normal，manager对应的是角色（role）添加，删除，更新等对应的是权限（permission）我们采用下面的逻辑创建权限表结构（不是绝对的，根据

2017-04-25 11:08:53 666

原创 Java 爬虫工具Jsoup解析

Jsoup是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。 jsoup 的主要功能如下： 1. 从一个 URL，文件或字符串中解析 HTML； 2. 使用 DOM 或 CSS 选择器来查找、取出数据； 3. 可操作 HTML 元素、属性、文本

2017-04-25 10:46:49 12572 4

原创 Spirng整合Quartz构建MAVEN工程

定时任务在许多项目中是要实时用到的一种技术，比较简单的定时任务我们可以运用Apache自带的Timer定时工具类来完成，但是相对于项目具体的定时而言这个工具类就有点力不从心，这里不做多演示。这里我们说一下Spring整合Quartz构建Maven工程放入LINUX系统直接执行的方式,框架选型用的是SSM（Spring 4, Mybatis 3,Quartz 2.2）第一步：POM文件基于本人已经搭好

2017-04-24 14:16:08 1578

原创 Java 判断一个时间段（YYYY-MM-DD）是否在一个区间

/** * @Title: isInDate * @Description: 判断一个时间段（YYYY-MM-DD）是否在一个区间 * @param @param date * @param @param strDateBegin * @param @param strDateEnd * @param @return 设定文件 *

2017-04-11 19:03:46 6217

原创 mysql 获取规定时间段内每一天的统计数据

按年统计SELECT count(*), DATE_FORMAT(order_info.create_time, '%Y-%m-%d') AS count_by_date FROM order_info WHERE DATE_FORMAT(order_info.create_time, '%Y') = '2017' GROUP BY

2017-04-10 17:51:23 4126

原创 List集合切割实现对已有数据的分页显示（LIST容器数据量不大的情况下推荐使用）

package com.lyt.usermanage.utils;import java.util.ArrayList;import java.util.LinkedList;import java.util.List;public class SplitLstUtils { private static final Integer default_size = 1000; @Sup

2017-04-10 15:06:37 1323

转载给大家介绍几个Hadoop入门经典教程

不多说直接贴上连接： ① Hadoop基础介绍 ② Hadoop入门学习 ③ Hadoop学习二章 ④ Hadoop学习图文教程

2017-04-07 11:47:16 2061

原创 mysql与oracle根据生日时间计算生日

mysql写法SELECT user_id, birthday, CURDATE() nowaday,(YEAR(CURDATE())-YEAR(STR_TO_DATE(birthday,'%Y-%m-%d')))-((RIGHT(CURDATE(),5)<RIGHT(STR_TO_DATE(birthday,'%Y-%m-%d'),5))) age FROM sit_user where user

2017-04-01 15:36:02 1870

爬虫基于Springboot+WebMagic+Mybatis+多数据源

闲来无事最近写了一个全新的爬虫框架WebMagic整合springboot的爬虫程序，不清楚WebMagic的童鞋可以先查看官网了解什么是Webmagic，顺便说说用springboot时遇到的一些坑

2018-11-30

spirng boot + mybatis + 跨域集成 + 过滤器顺序配置

spirng boot + mybatis + 跨域集成 + 过滤器顺序配置入门项目搭建

2018-05-30

ActiveMQ整合Spring

此项目比较完整的演示了ActiveMQ与Spring整合的相关示例，由于机器限制暂时做的是单项目自测，如有需要可以自己完善。

2017-10-10

WSDL解析插件Axis2依赖的jar包

Axis2是下一代 Apache Axis。Axis2 虽然由 Axis 1.x 处理程序模型提供支持，但它具有更强的灵活性并可扩展到新的体系结构。Axis2 基于新的体系结构进行了全新编写，而且没有采用 Axis 1.x 的常用代码。支持开发 Axis2 的动力是探寻模块化更强、灵活性更高和更有效的体系结构，这种体系结构可以很容易地插入到其他相关 Web 服务标准和协议（如 WS-Security、WS-ReliableMessaging 等）的实现中。 Apache Axis2 是Axis的后续版本，是新一代的SOAP引擎。

2017-09-18

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

Smile_Miracle的博客