减肥啊啊啊啊啊-CSDN博客

原创 Jsoup+WebMagic+Selenium+phantomJs简易爬取房源信息网站内容并解析

好长时间没写博客了。最近有个需求要一些房源平台的数据，看了看相关的网站数据再加上之前用Jsoup爬取过网站数据的经验觉得没什么问题。于是用jsoup写了个简易demo进行某8数据爬取，没爬个几分钟呢就验证码了~看来网站有反爬意识，毕竟靠数据资源吃饭的。咦？浏览器看到的价位是正常的怎么爬取下来的html内容价位就是乱码呢？因为自定义字体，每个详情页的字体都是动态加载的，关于加...

2019-08-15 00:30:46 1695

原创操作日志的内容记录及比对

emmm，还是好久没更新博客了。老样子，懒，哈哈。ok，回归正题，最近项目需要一个操作日志的内容比对，也就是哪些人在哪个业务的操作了哪些内容，操作前和操作后的内容比对及其他信息做为记录供人查阅。最先想到的肯定是spring aop 拦截特定方法+自定义注解获取内容，操作前后的内容用json记录入库，比对内容可能就是jsonObject来进行比对。因项目的特殊性和业务实体里可能会有循环引用等因素，在...

2018-04-17 20:19:45 4537 1

原创 apache + httpclient4 + jsoup 进行模拟浏览器url访问

Hi，各位好，好久不玩博客了，最近在新公司无聊的时候，在查看一个其他网站的注册源代码时发现了一处bug首先前台页面是这样的结构（不显示相关网站的敏感信息）这是一个很普通的注册页面，ok，我们看看相关js源代码，找到免费获取验证码的功能这段代码就是普通的校验手机号，然后发送给短信接口api，60秒的校验重复发送，不知道大家发现问题了吗？我可以根据url恶意仿造这接口需要的

2016-05-12 17:07:07 10608 4

转载 lombok---让代码少的可怜.

也是乱逛论坛,无意间发现个好东西.挺实用的,就转载下来了另外idea安装lombok请参考https://www.cnblogs.com/aligege/p/7797642.htmldemo文档：http://jnb.ociweb.com/jnb/jnbJan2010.html#introhttps://projectlombok.org/features/all文章转自:http://blog....

2014-09-28 09:59:10 2332

翻译 flyway框架对数据库迁徙的支持配置（基于ruby on rails的db migrate 思想）

目的：基于ruby on rails 的思想找到在java web下能够支持数据库常变更的一个框架（或者类似的框架）引用oracle的ruby on rails ：http://www.oracle.com/technetwork/cn/testcontent/kern-rails-migrations-085789-zhs.html开发人员目前热衷于使用 Ruby on

2013-01-18 12:05:02 6612

原创使用hibernate 分表做增删改查、

公司项目有一张表的数据量特别大、而且时间越长累积的数据量就越大、后来DBA决定分表来解决性能问题、分表是指一个母体表一群子表（结构和字段与母体表完全一样）我们程序对母表操作其实就是对子表操作、让其无法感知有分表这个动作、而使用hibernate如何分表呢？难道我要写N个子表类Domain吗？那累屎我算了、呵呵、我们这里需要hi

2012-11-16 15:47:26 15822 14

原创【js】jquery autosugguest 与jsp使用的示例

<%String path = request.getContextPath();String basePath = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+path+"/";%> "> My JSP 'auto.jsp' starting

2012-10-30 09:20:37 1710

转载使用java程序帮你解数独

相信数独大家都多少有玩过吧？就是一个3x3 的9个块、每块里面又是3x3的小块使每行每列都填充1-9的数字且只能使用一次、一般期刊后面都会有数独小游戏的、以前也玩过数独、但是太难的就不知道该怎么解了、今天逛了外国网站、发现一解数独的小程序、偷拿来分享、只使用了两个类 SudokuSolver 和 Grid 、先贴源码：SudokuSolver

2012-09-24 17:12:07 4714 1

原创 lazyLoad 懒加载图片例子

因为项目与图片资源服务器分离，而首页若是全部加载图片的话会很慢、所以研究了一下懒加载的例子，然后适用到了项目中。大概的思路就是创建个div 、然后滚动条事件绑定检测显示的页面div是否在一个高度的条件内、在给图片的src赋值、需要jquery.js 我的版本是1.7.1min#lazyLoadImage img{ width

2012-08-18 18:11:21 7558 3

原创 struts2 action 跳action 传递中文乱码问题解决、

前不久在做项目的时候遇到个乱码问题、心想这乱码跟其他乱码肯定一样好解决、可是半天过去了、那乱码还是一样屹立在那、使用浑身解数都没有好的方法解决、最后看到了一个帖子、才有了解决办法、如果使用的是rediect这样解决： list.action?msg=${msg} true

2012-08-09 15:30:32 5242

原创使用spring @Scheduled注解执行定时任务、

以前框架使用quartz框架执行定时调度问题、老大说这配置太麻烦、每个调度都需要多加在spring的配置中、能不能减少配置的量从而提高开发效率、最近看了看spring的 scheduled的使用注解的方式进行调度、感觉很方便、起码配置的东西少了很多、所以留下来以备忘了、首先要配置我们的spring.xmlxmlns 多加下面的内容、xmlns:task="http://www.springfram...

2012-07-14 09:31:34 393416 35

原创 hibernate支持中文排序（mysql）

mysql 数据库中原生态sql语句查询且按中文排序：sql：select * from table order by convert(field using gbk ) asc or desc ;说明：table是表名、field是字段名、gbk是编码格式、而用hibernate使用以上的语句会报错误 using 貌似是关键语句、不能使用

2012-06-26 15:08:00 7360 2

转载主键生成策略（转）

数据库表主键的知识点：Generator 为每个 POJO 的实例提供唯一标识。一般情况，我们使用“native”。class 表示采用由生成器接口net.sf.hibernate.id.IdentifierGenerator 实现的某个实例，其中包括：assigned主键由外部程序负责生成，在 save() 之前指定一个。hilo通过hi/lo 算法实现的主键生成机制，需

2012-06-09 09:14:32 1159

原创 java获取刚保存进去的实体的id （mysql数据库）

项目使用hibernate做的分表功能、然后使用sql语句进行子表对母表的拷贝创建、create table 子表 select * from 母表 where 1=2 //不需要拷贝数据然后通过java反射动态获取属性上的column注解拼凑成sql语句insert into 子表（表字段） values( ...);当然 hibern

2012-05-30 15:54:23 8496 1

原创 struts2标签引用自己的方法

有时候需要在前台显示一些数据、有些数据是需要一些转换的、这时候就需要使用自己的方法让struts标签经过自己的方法后的数据给显示出来、比如：有个自己的方法trans（下面只是举个例子）public static String trans(String value){ return value; } 然后需要在struts.xml里设置

2012-05-17 13:07:10 2731

转载 JAVA中获取路径: （转载整理）

JAVA中获取路径: （网上转载整理）1.jsp中取得路径：以工程名为TEST为例： (1)得到包含工程名的当前页面全路径：request.getRequestURI() 结果：/TEST/test.jsp (2)得到工程名：request.getContextPath() 结果：/TEST (3)得到当前页面所在目录下全名称：request.getSe

2012-04-16 11:18:03 1033

原创通过java反射机制获取该类的所有属性类型、值、

方法使用了这俩个包下的 field 和methodimport java.lang.reflect.Field;import java.lang.reflect.Method;public static void getObjectValue(Object object) throws Exception { //我们项目的所有实体类都继承BaseDomain （所有实体基

2012-04-11 09:47:16 62048 7

原创在tomcat下html乱码问题解决

有的时候我们项目要求不用jsp写的一些页面出现了中文乱码。究其原因虽然是直接请求的html路径，但是还是会经过服务器端如tomcat来返回该html页面。而有的时候服务器的编码格式你也不好改变。在网上找了很多。最后找到在web.xml里设置这些就可以解决html乱码问题。 Special p

2012-04-01 09:04:15 4647

原创 Class org.apache.struts2.json.JSONWriter can not access a member of *

Class org.apache.struts2.json.JSONWriter can not access a member of class org.springframework.aop.TruePointcut with modifiers "public"网上有很多这样的问题，但是在ssh中此问题形成的原因可能有多种、网上的：------异常形式：

2012-03-28 14:27:20 5907

转载 tomcat集群负载均衡

作者:罗代均 ldj_work#126.com,转载请保持完整性0，环境说明 Apache :apache_2.0.55 1 个 Tomcat: apache-tomcat-5.5.17 (zip版) 2个 mod_jk:: mod_jk-apache-2.0.55.so 1个第一部分：负载均衡负载均衡，就是apa

2012-03-12 15:51:12 1001

原创 javascript拼凑url乱码问题解决

当在javascript中使用了拼凑url传递参数中文乱码的话使用encodeURI 转码俩次var str = "中文乱码";var url = "xxx.xx?" + encodeURI(encodeURI(str));在接受的action中使用URLDecoder.decode(name, "UTF-8"); 把javascript传递过来的参数转码。String

2012-03-12 12:36:08 811

转载【转】javascript操作数组

js数组的操作用 js有很久了，但都没有深究过js的数组形式。偶尔用用也就是简单的string.split(char)。这段时间做的一个项目，用到数组的地方很多，自以为js高手的自己居然无从下手，一下狠心，我学！呵呵。学了之后才知道，js数组的功能强大很，远比VB,C#强多了,大家慢慢看吧1、数组的创建 var arrayObj = new Array();

2012-03-09 10:30:01 572

转载不同平台下处理【java.lang.OutOfMemoryError: Java heap space】内存溢出。

这个问题的根源是jvm虚拟机的默认Heap大小是64M,可以通过设置其最大和最小值来实现.设置的方法主要是几个.1.可以在windows 更改系统环境变量加上JAVA_OPTS=-Xms64m -Xmx512m2,如果用的tomcat,在windows下,可以在C:\tomcat5.5.9\bin\catalina.bat 中加上:set JAVA_OPTS=-

2012-02-29 21:20:40 887

原创 java跨平台运行【有关路径获取】

最近需要把项目发布到linux里。总以为很简单就可以支持跨平台。但其实不然。java中很多api还是不知道的。windows下的项目到linux就出现路径的问题啦。windows系统下的路径分隔符是\linux系统下的路径分隔符是/java如何在俩个系统都很好的运行其实java早就考虑到了。java中使用这句话获取系统的分隔符：

2012-02-29 20:12:19 4152

原创仿淘宝筛选模块功能

仿淘宝筛选模块总结：需求：1、点击一个商品后，显示出该商品的筛选条件（因为符合此id号的商品有海量数据，要找到自己想要的，就需要给出筛选条件。）2、点击筛选条件后、该筛选条件框会隐藏、显示出符合该商品的内容、再点击筛选条件、在隐藏该条件框、最后列出符合筛选条件的数据。3、只用这一个页面来接受和传递数据。要做数据来回传递，且只用一个页面。相当于淘宝买衣服筛选模块

2012-01-09 12:36:55 17016 16

sd4000784的专栏