Java
文章平均质量分 68
DATA5U
这个作者很懒,什么都没留下…
展开
-
JAVA 配置动态转发代理IP做数据爬虫采集
这篇文章介绍的是使用动态转发代理IP(也叫隧道代理IP),参考http://www.xiaozhudaili.com/buy/tunnel.html首先效果是很不错的,只需要设置好一次代理IP,然后每次都会自动换一个IP,不需要代码做什么了,看下我的效果:标题下面附上代码:JDK1.8package com.xiaozhudaili.test;import java.io...原创 2020-03-04 17:47:26 · 1071 阅读 · 0 评论 -
为什么数据采集(爬虫)需要用到代理IP
这个问题很简单了,因为你要采集的网址会封禁你的请求IP,导致你的请求无法获取到正确的数据。代理IP起到了中间层的作用,你要采集的网址服务器会认为你的请求IP是代理IP,从而无法实施封禁行为。当然,并不是所有的代理IP都能起到这个作用。代理IP分为高匿名、透明(普通匿名也认为是透明)两种;透明代理IP服务器端看到的是你的真实IP和代理IP,高匿名代理IP服务器端只能看到代理IP。所以说,还必...原创 2020-02-28 10:01:59 · 946 阅读 · 0 评论 -
springmvc与mybatis整合,log4j输出sql语句
无论我怎么配置spring、mybatis和log4j都不能输出sql语句。这个困扰了我好多天的问题,终于解决掉了。 spring版本:3.2.8mybatis版本:3.26log4j版本:1.2.7 a. 配置mybatis_config.xml在settings中添加logImpl属性 <settings><setting nam...原创 2014-03-31 15:44:35 · 705 阅读 · 0 评论 -
Java中使用代理IP获取网址内容(防IP被封,做数据爬虫)
推荐两个代理IP网站: 1. 全网代理IP:http://proxy.goubanjia.com/ 2. 爱赚免费IP:http://ip.izmoney.com/ Java语言有两种方式使用代理IP访问网址并获取内容, 方式一,设置System系统属性 // 设置代理IPSystem.getProperties().setProperty("pro...原创 2015-03-29 21:59:51 · 1616 阅读 · 0 评论 -
使用动态代理IP让爬虫效率提高N倍
package com.goubanjia.test;import java.io.BufferedInputStream;import java.io.InputStream;import java.net.HttpURLConnection;import java.util.ArrayList;import java.util.List;import org...原创 2016-08-16 14:38:54 · 2675 阅读 · 0 评论 -
POI读取word2003和word2007
首先引入Maven依赖,如下 <!-- ************word************** --> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version...2015-10-09 11:19:25 · 413 阅读 · 0 评论 -
Mybatis批量更新配置(Mysql batch update)
Mybatis在Mysql批量更新中不支持BEGIN与END关键字,所以如下配置是错误的:<update id="batchUpdate" parameterType="java.util.List"> <foreach collection="list" item="item" index="index" open=&2015-10-28 10:57:40 · 581 阅读 · 0 评论 -
JVM性能调优工具
https://my.oschina.net/feichexia/blog/196575原创 2016-10-28 09:06:52 · 150 阅读 · 0 评论 -
数据抓取原理及常见爬虫框架、代理示例
文章转自 http://www.data5u.com/ 数据爬虫概述 爬虫,即网络爬虫(Web crawler),是一种自动获取网页内容的程序。 是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 搜索引擎的处理对象是互联网网页,日前网页数量以百亿计,所以搜索引擎首先面临的问题就是:如何能够设计出高效的下载系统,以将如此海量的网...原创 2017-01-19 16:19:35 · 598 阅读 · 0 评论 -
spring与mybatis项目出现 java.lang.NumberFormatException: For input string: "${jdbc.ma
具体说来就是,myabatis使用MapperScannerConfigurer扫描模式后他会优先于PropertyPlaceholderConfigurer执行,所以这个时候,${jdbc.maxActive } 还没有被properties文件里面的值所替换,所以出现TypeMismatchException,然后就异常了。正确配置如下 <!--...原创 2014-03-31 14:51:04 · 449 阅读 · 0 评论 -
使用spring做java的swing客户端报错:找不到元素 'beans' 的声明 或者 找不到元素 'tx' 的声明。...
使用Java语言编写Swing客户端,其中用到事物TX,spring头配置如下:<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins...2013-10-18 10:21:11 · 274 阅读 · 0 评论 -
MyEclipse插件注册方法
1. 复制下列代码到MYECLIPSE: package app;import java.io.File;import java.util.ArrayList;import java.util.List;/** * * */public class PluginConfigCreator{ public PluginConfigCreator(...2011-10-12 16:25:17 · 118 阅读 · 0 评论 -
工作中的问题总结(1)
1. Debian中卸载与安装MYSQL a. 停止mysql服务,如果不管用,就grep包括"mysql“的进程,全部pkill掉;b. 卸载1:apt-get remove mysql-server --purgec. 卸载2:apt-get remove mysql-common --purge 记得一定要加--purge实现完全卸载。d. 重新安装:a...原创 2011-10-12 16:41:09 · 135 阅读 · 0 评论 -
Java中的静态代理和动态代理
Java中的静态代理和动态代理一、引入代理的概念 我叫蒙林,在北京租了一间房子。昨天我有事去了广东,当我到了广东后,房东王小三打电话给我说今天该交房租了(合同上写的是今天交房租,且过期不交房租将产生滞纳金),那么我怎么办呢? 于是我打电话给北京的朋友黄河,让他先替我把房租交给房东,那么黄河是以我的名义交的房租。 那么在这一事件中,黄河就是我蒙林的代理(英文为Pro...2011-07-22 18:41:33 · 130 阅读 · 0 评论 -
JAVA泛型(Generic)
import java.io.Serializable;/** *这个接口代码中并没用到,这里只是学到了泛型,顺便测试下 */public interface GenericDao<S, PK extends Serializable> { public S pring(PK thing); } ...2011-12-21 10:41:00 · 108 阅读 · 0 评论 -
Enum
参考:http://www.cnblogs.com/frankliiu-java/archive/2010/12/07/1898721.html原创 2011-12-21 10:50:19 · 106 阅读 · 0 评论 -
Mybatis获取刚插入数据库中的记录的ID(MYSQL)
<insert id="createGroup" parameterType="Group" useGeneratedKeys="true" keyProperty="id"> insert into res_chat_group(ROOT_USER_ID, IS_USABLE, ESTABLISH_TIME, GROUP_NAME) val...2012-03-19 14:50:48 · 140 阅读 · 0 评论 -
Java annotation
参考:1. 用Annotation简化Java程序的开发.pdf2. http://docs.oracle.com/2013-03-25 15:22:28 · 87 阅读 · 0 评论 -
Nginx学习笔记
一、安装nginx 1、在nginx官方网站下载一个包,下载地址是: http://nginx.org/download/nginx-1.4.2.tar.gz 2、WinSCP(ftp上传工具).exe FTP 上传工具上传达到CentOS中 3、我是先建一个目录,把要用的到的安装包放到一起. #mkdir /home/ ...原创 2014-06-23 16:01:12 · 143 阅读 · 0 评论 -
SVN Ubuntu创建仓库
SNV访问地址:svn://IP:PORT 1. 创建文件夹:svnadmin create /usr/local/svndir/ 2. 开启监听:svnserve -d -r /usr/local/svndir/ --listen-port 9091 以下是转载: ubuntu下SVN服务器安装配置 一、SVN安装1.安装包$ sudo apt-get ins...2013-09-23 10:11:21 · 140 阅读 · 0 评论 -
JAVA正则表达式-捕获组与非捕获组
JAVA正则表达式-捕获组与非捕获组 Java捕获组与非捕获组的问题困扰了我一阵子,下面是我弄明白后的笔记: 先看例子: import java.util.regex.Matcher;import java.util.regex.Pattern;public class PatternTest { public static void main(St...2011-09-29 12:28:21 · 237 阅读 · 0 评论