网站行业搜索,数据源来自于互联网

原创 2007年10月10日 14:55:00

 流程图

最近公司管理层有个新想法,想利用百度,GOOGLE等网站的海量信息,做一个我们自己的行业搜索网站,做为公司的一个新频道,也可以说一个特色服务;第二天交个思路(上面的流程图),数据库方面的内容,需要的可以在第四步骤之后写到库;以前有过网络编程的简单知识和正则基础,所以基本没有问题.考虑到性能问题,要用到多线程编程,这方面只有一点点了解,老板就让我把这点研究一下.之后确定一个开发进度和任务安排.今天看了多线程的文章,很不错,发给大家看看:C#.net多线程编程教学(1): 线程同步多任务和多线程

流程图解说:

开发工作:
      a.百度数据分析模块
        b.业务处理模块
        c.表示层模块
        d.数据库设计
 详细说明:
a.      【百度数据分析模块】主要工作
1.百度新闻列表页分析
2.制定新闻列表页正则
b.      【业务处理模块】主要工作
1.根据组合URL,获取HTML数据
2.处理HTML数据,由正则提取有用信息(如标题,链接,摘要,时间等等)
3.结构化提取信息(记录到模拟数据库和SQLSERVER),显示给用户
4.多线程编程,性能测试,功能测试
c.       【表示层模块】主要工作
1.友好提示效果
2.AJAX无刷新提交
d.      【数据库设计】主要工作
1.       新闻表

编号
标题
标题链接
来源
摘要
日期
图片新闻
图片
分类
                                          百度标题是加粗的,获取时加粗的处理
2.       词条表

编号
词条关键值
词条
词条关键值点击量
词条点击量
日期
..

3.分类表(一分类对应一正则)

关 于JAVA 的 可 移 植 性

1. JAVA 作 为 一 种 编 程 语 言: 源 代 码 可 移 植 性       作 为 一 种 编 程 语 言,JAVA 提 供 了 一 种 最 简 单 同 时 也 是 人 们 最 熟 悉 ...
  • wxyxl
  • wxyxl
  • 2001-05-05 01:04:00
  • 1165

互联网公司的几种销售模式

销售的工作在大多数人的眼里一直是被认为很低级的工种,很多人都是在工作实在难找了才找销售类的工作,更加使得人们对销售的工作有偏见。而实际上任何一个公司的管理者都不得不承认公司的主要收入都是销售团队创造的...
  • jonas20
  • jonas20
  • 2006-11-10 08:52:00
  • 932

机器学习在互联网应用面临的 10 大挑战

1: “数据稀释性”:训练一个模型,需要大量(标注)数据,但是数据往往比较稀疏。比如,我们想训练一个模型表征某人 “购物兴趣”,但是这个人在网站上浏览行为很少,购物历史很少,很难训练出一个 “mean...
  • oanqoanq
  • oanqoanq
  • 2012-06-06 23:40:20
  • 771

中国互联网top100的主要业务分析

中文网站排位定义:流量、主要服务语言简体中文、盈利主要区域大陆top 10 排序 ...
  • mmquit
  • mmquit
  • 2007-03-28 20:06:00
  • 729

互联网行业入门必读书籍

小伙伴们的成长进步,是我认为紧跟在保证公司健康快速发展之外最重要的事情,我希望通过公司的不断努力,通过塑造良好的学习氛围,建立传帮带机制,充分的授权和明确的奖惩,对于快速成长者的认可和奖励,引入外部优...
  • likika2012
  • likika2012
  • 2013-10-14 17:32:28
  • 6203

网站缓存核心技术

  • 2018年04月13日 16:48
  • 523KB
  • 下载

最新薪资统计:互联网行业涨幅最猛!

在这个“金三银四”的跳槽季,想知道2018年你的“钱途”如何吗?来看看最新的薪酬指数吧!2017全国总体薪酬增长率回暖了图1:2010-2017年全国总体薪酬水平增长情况国家统计局公布的2017年GD...
  • T7SFOKzorD1JAYMSFk4
  • T7SFOKzorD1JAYMSFk4
  • 2018-03-02 00:00:00
  • 511

多数据源报表解析之简单多源报表

多数据源报表即一张报表中可以定义多个数据集,分别取出需要的数据库表,所取的数据库表甚至可以来自于不同的数据库。本文通过几个例子说明多个数据集数据如何相互关联来实现多源报表。...
  • nayun123
  • nayun123
  • 2015-10-28 11:01:20
  • 537

应届生互联网行业求职全攻略_高清扫描版-应届生求职网

  • 2016年12月12日 16:44
  • 41.21MB
  • 下载

年终总结 Trustdata:2017年中国移动互联网行业发展分析报告

本文转自微信公众号Trustdata大数据(id: trustdata)。本文经作者授权发布,转载请联系原作者。精彩活动福利 · 阅读 | 免费申请读大数据新书 第23期推荐阅读2017年数据可视化的...
  • zw0Pi8G5C1x
  • zw0Pi8G5C1x
  • 2018-01-26 00:00:00
  • 512
收藏助手
不良信息举报
您举报文章: 网站行业搜索,数据源来自于互联网
举报原因:
原因补充:

(最多只允许输入30个字)