- 博客(1)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 为什么要用hadoop
<br /> 以前公司的数据日志是每天从生产数据库导出到数据服务器，再通过一个python脚本分析这些日志并存入mysql当中，这种方式在数据量小的情况下还没什么事，数据量一大，所需时间是几何增长。有段时间每天光apache log解压之后就有几十个G，虽然通过很多手段比如减少查询，减少单条数据插入，使用LOAD将数据导入数据库，但所需时间还是要很久。为了减少每天log分析的时间以及数据的稳定性，决定搭建一个hadoop系统，使用hadoop map/reduce来并行的处理log。<br /
2011-04-10 23:10:00
4707
download程序C#源码，支持断点续传
代码是用C#实现的。Downfile是一个用来下载的类，其中的work方法不支持断点续传，Continuework支持。writeLog是用来把错误和异常写到日志文件的一个类
2008-09-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人