线程池 抓取数据库信息

标签: 线程池 抓取 数据库 资源/信息
3人阅读 评论(0) 收藏 举报
分类:
@Async(ThreadPoolConfig.EXECUTOR_NAME)
public void transferData() throws SQLException, CloneNotSupportedException {
		
	String srcUrl = DBURL.getURL(DBURL.DBTYPE_SQLSERVER, "10.10.1.47", "1433", "srcdbname");
	String srcUser = "sa";
	String srcPasswd = "123456";
		
	String targetUrl = DBURL.getURL(DBURL.DBTYPE_MYSQL, "10.10.1.47", "3306", "targetdbname");
	String targetUser = "root";
	String targetPasswd = "123456";
		
	DruidDataSource srcDataSource = createDataSource(DBURL.DBTYPE_SQLSERVER, srcUrl, srcUser, srcPasswd);
	SqlRunner srcSqlRunner = SqlRunner.create(srcDataSource);
	DruidDataSource targetDataSource = createDataSource(DBURL.DBTYPE_MYSQL, targetUrl, targetUser, targetPasswd);
	SqlRunner targetSqlRunner = SqlRunner.create(targetDataSource);
		
	List<Entity> dictionaryWordList = srcSqlRunner.findAll("srctbname");
	List<Entity> targetDictionaryWordList = new ArrayList<>();
	for (Entity entity : dictionaryWordList) {
			
	        Entity targetEntity = Entity.create("targettbname")
			            .set("targetfield1", entity.getObj("srcfield1"))
				    .set("targetfield2", entity.getObj("srcfield2"));
			
	        targetDictionaryWordList.add(targetEntity);
	}
		
	logger.info("写入开始时间:" + new Date().toString());
	targetSqlRunner.insert(targetDictionaryWordList);
	logger.info("写入结束时间:" + new Date().toString());
		
	srcDataSource.clone();
	targetDataSource.close();
}

http://hutool.mydoc.io/

个人笔记,仅供参考
查看评论

Python-抓取股票信息

学习利用抓取股票信息
  • 2017年08月21日 14:53

并发和并行抓取数据总结

首先介绍并发、并行、异步和同步的概念,然后介绍 Python 中实现这些技术的主要方式,包括多线程、多线程、协程 gevent 、asyncio、及 futures 等实现方式。并发与并行并发是指在一...
  • xsj_blog
  • xsj_blog
  • 2017-04-02 19:08:20
  • 515

java采集网页信息,并获取到所需要的信息存入数据库中对应的字段中去

  • 2014年12月23日 21:48
  • 749KB
  • 下载

数据库线程池

unit ConnPool; interface uses   SysUtils, Classes, SyncObjs, Windows, Variants,   DateUt...
  • vip_ljq
  • vip_ljq
  • 2016-06-08 14:56:17
  • 508

python线程池实现网络爬虫

首先是创建线程池: 线程池主要由两个队列维护,线程队列和任务队列,线程队列存放开启的线程,任务队列由用户添加任务,开启的线程一直去任务队列中获取任务 import Queue, threading...
  • sdlcwangsong
  • sdlcwangsong
  • 2014-08-11 17:20:39
  • 855

pyspider抓取数据信息

pyspider框架,mysql
  • shaoyingchendsg
  • shaoyingchendsg
  • 2017-09-08 17:34:50
  • 219

中国知网文献信息抓取工具安装包

  • 2010年04月12日 18:23
  • 9.99MB
  • 下载

线程池 和数据库连接池

线程池的原理和连接池的原理    线程池的原理:            来看一下线程池究竟是怎么一回事?其实线程池的原理很简单,类似于操作系统中的缓冲区的概念,它的流程如下:先启动若干数量的线...
  • u011244446
  • u011244446
  • 2015-05-14 20:09:34
  • 1713

线程池和数据库连接池的原理

线程池的原理:            来看一下线程池究竟是怎么一回事?其实线程池的原理很简单,类似于操作系统中的缓冲区的概念,它的流程如下:先启动若干数量的线程,并让这些线程都处于睡眠状...
  • duchao123duchao
  • duchao123duchao
  • 2015-07-30 18:20:27
  • 2187

python多线程抓取数据存入数据库的方法

1数据库类  """ 使用须知: 代码中数据表名 aces ,需要更改该数据表名称的注意更改 """ import pymysql class Database(): # 设置本地...
  • zn505119020
  • zn505119020
  • 2017-11-21 11:12:23
  • 148
    个人资料
    持之以恒
    等级:
    访问量: 1142
    积分: 150
    排名: 111万+
    文章分类
    文章存档