提取
1.数据获取方式:post和get
2.登陆,获取访问权限
3.解析get方式的链接地址的内容,从网页中找到链接地址参数,并确定参数的定义域和含义功能
4.获取网页数据,简单处理
5.根据所要捕获内容进行方法选取:正则表达式截取指定格式部分;变量解析;
6.存储捕获数据,按照设计好的数据结构存储到缓存数据库或文件中。
转换
1.格式标准化,比如时间,姓名,年龄,邮箱,图文等有固定格式的,把初始的一般格式转化为指定格式
2.去除异常数据,不能转化为指定格式的数据,可以尝试修复,不符合概率或者异常的数据给以剔除
3.按查询条件,转换数据,比如常规查询带顺序,则按顺序存储(非关系数据库)
加载
1.加载数据,为了便于加载到其他平台予以调用,网页加载可以输出js文件,程序加载可以存储到关系型数据库,如mysql,sqlserver等。
2.发布数据webservice,返回指定格式的字符集。
数据挖掘
1.事务决策 根据业务的需求,从数据中获取决策依据
判断数据与业务的关系,更加需要设计好算法,分析处理得到结果,并验证其与业务的相关性
2.在线联机分析
联合其他平台的即时数据,或历史数据,进行联机处理。具有较好的触发算法处理才行。