vc6轮询mysql,检查信息过期,使用系统线程池,可慢,求高人指点

应用背景说明:
1.自己写的一个小程序,从指定网址抓取信息入库,为了确定信息是否被删除,就写了这个程序,查看指点定页面是否出现"该信息不存在,或已被删除"的字样,出现即为过期,不出现为有效;
2.之前没用多线程,现使用系统线程池,可是效率依然没提高,求高人指点。

 

ThreadPool.h

#include <list>
#include <afxinet.h>
#include <iostream.h>
#include <winsock.h>
#include <mysql.h>

using namespace std;

#pragma comment(lib, "libmysql.lib")

class DbOnMySql
{
public:
DbOnMySql();
virtual ~DbOnMySql();
BOOL ConnDB(const char *host, const char *user, 
const char *passwd, const char* dbName);
std::list<CString> GetAllRec();
bool UpdateDataBase(CString strSQL);
void Close();
private:
MYSQL m_mysql;
};

DbOnMySql::DbOnMySql()
{
}

DbOnMySql::~DbOnMySql()
{
}

/* 建立与数据库的连接 */
BOOL DbOnMySql::ConnDB(const char *host, 
const char *user, 
const char *passwd,
const char* dbName)
{
try
{
/* 初始化MYSQL结构 */
mysql_init(&m_mysql);

/* 连接数据库 */
if(mysql_real_connect(&m_mysql, host, user, passwd, 
dbName, 0, NULL, 0) != NULL)
{//成功建立连接
return TRUE;
}
else
{//建立连接失败
return FALSE;
}
}
catch(...)
{
return FALSE;
}
}

/* 关闭数据库连接 */
void DbOnMySql::Close()
{
try
{
mysql_close(&m_mysql);
}
catch(...)
{}
}

std::list<CString> DbOnMySql::GetAllRec()
{
/* 用于保存结果的List */
std::list<CString> recList;

/* 查询语句 */
std::string strsql="SELECT SourceID FROM zf371_zulin_infolist_bak "
"WHERE UpdateFlag='0' ORDER BY SourceID ASC LIMIT 0,50";
//cout << strsql.c_str() << endl;

try
{
/* 执行查询 */
if(mysql_real_query(&m_mysql, strsql.data(), strsql.length()) == 0)
{
/* 取得查询结果 */
MYSQL_RES* pRes = NULL;
pRes = mysql_store_result(&m_mysql);

if(pRes != NULL)
{
/* 取得结果 */
MYSQL_ROW row;
CString strIDs;
int i = 0;
while(row = mysql_fetch_row(pRes))
{
// 保存信息
CString strSourceID;
if(row[0] != NULL)
{
strSourceID.Format("%s", row[0]);
}

if(i == 0)
strIDs = strSourceID;
else
strIDs += "," + strSourceID;

i++;

// 加入List
recList.push_back(strSourceID);
}

if(strIDs != "")
{
//cout << strIDs << endl;
CString strSql;
strSql.Format("UPDATE zf371_zulin_infolist_bak SET UpdateFlag='1'"
" WHERE SourceID IN(%s)", strIDs);
UpdateDataBase(strSql);
//cout << strSql << endl;
}
}
}
}
catch(...)
{}

return recList;
}

bool DbOnMySql::UpdateDataBase(CString strSQL)
{
bool bSucceed = true;

try
{
if(mysql_real_query(&m_mysql,(char*)(LPCTSTR)strSQL,(UINT)strSQL.GetLength())!=0)
{
bSucceed = false;
}
}
catch(...)
{
bSucceed = false;
}

return bSucceed;
}

class CSpider  
{
public:
CSpider();
virtual ~CSpider();
static CString GetHttp(CString strUrl);
void SaveToFile(CString strFile, CString strCont);
};

CSpider::CSpider()
{

}

CSpider::~CSpider()
{

}

CString CSpider::GetHttp(CString strUrl)
{
CString strHtml = "";
if(strUrl == "")
{
return "";
}

CInternetSession session(_T(""));;
CInternetFile* file = NULL;

try
{
file = (CInternetFile*)session.OpenURL(strUrl);
}
catch(CInternetException* m_pException)
{
file = NULL;
delete file;
m_pException->Delete();
return "";
}

if(file)
{
CString strTemp;
while(file->ReadString(strTemp) != NULL)
{
strHtml += strTemp;
}
file->Close();
delete file;
}
session.Close();

return strHtml;
}

void CSpider::SaveToFile(CString strFile, CString strCont)
{
FILE *fp = fopen(strFile, "w");
if(fp)
{
fwrite(strCont, 1, strlen(strCont), fp);
}
fclose(fp);
}

main.cpp

#include "ThreadPool.h"
#include <afxmt.h> //CCriticalSection头文件

CCriticalSection g_cs;
DbOnMySql db;

DWORD WINAPI threadfunc(void* p)
{
CSpider spider;
CString strUrl, strHtml, strLink;

g_cs.Lock();
strLink.Format("%s", p);
strUrl.Format("http://house.shangdu.com/fang/f_chuzu.asp?id=%s", strLink);
strHtml = spider.GetHttp(strUrl);

bool bFlag = true; //是否有效,true-有效,false-无效

strHtml.Replace("&nbsp;", "");
int nPos = strHtml.Find("该信息不存在,或已被删除");
if(nPos > -1)
bFlag = false; //信息无效

if(bFlag == false) //信息无效,更新Flag为0
{
if(db.ConnDB("localhost", "wanghui", "huiwang", "bossdbnew"))
{
CString strSql;
strSql.Format("UPDATE zf371_zulin_infolist_bak SET Flag='0' "
"WHERE SourceID='%s'", strLink);
db.UpdateDataBase(strSql);
db.Close();
}

cout << (LPCSTR)strLink << "/t信息失效!" << endl;
}
else
{
cout << (LPCSTR)strLink << "/t信息有效!" << endl;
}

g_cs.Unlock();

return 0;
}

int main(int argc, char* argv[])
{
HINSTANCE hInst=LoadLibrary("Kernel32.DLL");
if(!hInst)
{
cout << "不可使用系统线程池!" << endl;
return 0;
}

typedef BOOL(WINAPI * MYFUNC)(LPTHREAD_START_ROUTINE, PVOID,ULONG);
MYFUNC MyQueueUserWorkItem=NULL;

//取得QueueUserWorkItem函数指针
MyQueueUserWorkItem = (MYFUNC)GetProcAddress(hInst, "QueueUserWorkItem");
if(!MyQueueUserWorkItem)
{
cout << "获取QueueUserWorkItem函数指针失败!" << endl;
return 0;
}

while(true)
{
std::list<CString> recList;

g_cs.Lock();
if(db.ConnDB("localhost", "wanghui", "huiwang", "bossdbnew"))
{
recList = db.GetAllRec();
db.Close();
}
else
{
cout << "数据库连接出错!" << endl;
Sleep(200);
continue;
}
g_cs.Unlock();

//显示记录
std::list<CString>::iterator pos;

int nums = recList.size();

if(nums == 0)
{
cout << "有效性检查结束" << endl;
break;
}

//g_cs.Lock();
for(pos = recList.begin(); pos != recList.end(); ++pos)
{
g_cs.Lock();
CString strLink = *pos;
strLink.TrimLeft();
strLink.TrimRight();
g_cs.Unlock();
//cout << (LPCSTR)strLink << endl;

//MyQueueUserWorkItem(threadfunc, (PVOID)strLink.GetBuffer(strLink.GetLength()), 0);
MyQueueUserWorkItem(threadfunc, (PVOID)(LPCTSTR)strLink, WT_EXECUTEINLONGTHREAD/*WT_EXECUTEINIOTHREAD*/);
Sleep(20);
/*
//g_cs.Lock();
if(db.ConnDB("localhost", "wanghui", "huiwang", "bossdbnew"))
{
CString strSql;
strSql.Format("UPDATE zf371_zulin_infolist_bak SET UpdateFlag='1' WHERE SourceID='%s'", strLink);
db.UpdateDataBase(strSql);
db.Close();
}
g_cs.Unlock();
*/
//Sleep(10);
}
//g_cs.Unlock();
cout << "--------------------" << endl;
Sleep(100);
}

FreeLibrary(hInst);

return 0;
}

sql.sql

-- phpMyAdmin SQL Dump
-- version 2.6.3-pl1
-- http://www.phpmyadmin.net
-- 
-- 主机: localhost
-- 生成日期: 2010 年 08 月 06 日 09:19
-- 服务器版本: 5.1.33
-- PHP 版本: 5.2.5
-- 
-- 数据库: `bossdbnew`
-- 

-- --------------------------------------------------------

-- 
-- 表的结构 `zf371_zulin_infolist_bak`
-- 

CREATE TABLE `zf371_zulin_infolist_bak` (
  `UserID` int(11) NOT NULL,
  `StyID` int(11) NOT NULL,
  `SourceID` bigint(20) NOT NULL,
  `HzSty` varchar(10) NOT NULL,
  `Sex` varchar(10) NOT NULL,
  `Area` varchar(30) NOT NULL,
  `HuXing` varchar(30) NOT NULL,
  `LuCeng` varchar(30) NOT NULL,
  `Mianji` varchar(20) NOT NULL,
  `ZuJin` int(8) NOT NULL DEFAULT '0',
  `Addr` varchar(200) NOT NULL,
  `SheShi` varchar(130) NOT NULL,
  `Huanjing` varchar(200) NOT NULL,
  `GongJiao` varchar(200) NOT NULL,
  `BeiZhu` varchar(2000) NOT NULL DEFAULT '',
  `HzYaoqiu` varchar(2000) NOT NULL DEFAULT '',
  `LianXiRen` varchar(6) NOT NULL,
  `Telephone` varchar(100) NOT NULL,
  `AddTime` datetime DEFAULT NULL,
  `ModTime` datetime DEFAULT NULL,
  `ZdID` int(11) NOT NULL,
  `ZdTim` datetime DEFAULT NULL,
  `IP` varchar(20) NOT NULL,
  `ShowFlag` enum('0','1') NOT NULL DEFAULT '0',
  `UpdateFlag` enum('0','1') NOT NULL DEFAULT '0',
  `Flag` int(11) NOT NULL DEFAULT '0',
  KEY `StyID` (`StyID`),
  KEY `ShowFlag` (`ShowFlag`),
  KEY `SourceID` (`SourceID`),
  KEY `UpdateFlag` (`UpdateFlag`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;

 

随后,又用c#写了一个,也是使用系统线程池,感觉比c++写的还快,我就郁闷了

 

请高人给指点一下,怎么提升运行速度

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值