2014年02月_songwenbinasdf

11月 10月 08月 04月 02月 01月

转载腾讯大规模Hadoop集群实践

TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。　　TDW服务覆盖了腾讯绝大部分业务产品，单集群规模达到4400台，CPU总核数达到10万左右，存储容量达到100PB；每日作业数100多万，每

2014-02-20 17:37:54 521

转载 Eclipse中Java Project转换为Java Web Project

本文介绍，如果把Java Project转换为Java Web Project，应该在多数的Eclipse的版本都类似。 1.Java Project 一个Java Projec，在Eclipse中显示的是一个“J”的蓝色文件夹。 2.Project Facets 右键项目属性Properties,右侧选择菜单Project Facets,点击converted t

2014-02-18 13:46:38 800

转载 Tomcat version 6.0 only supports J2EE 1.2, 1.3, 1.4, and Java EE 5 Web modules

最近在用eclipse做项目，新建项目时什么都贪新，用最新的版本，在Dynamic web module version栏里选了最新的3.0版本，布署项目的时候就出现了如期的错误，在网上看到http://hi.baidu.com/yolanda441/b ... 41d36dd1164e2e.html这位兄弟的博客,解决了问题，现将方法贴于此，希望对别人有所帮助：《通过search，发

2014-02-18 13:08:29 399

转载爬虫原理（1）

网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。这篇博客主要对爬虫以及抓取系统进行一个简单的概述。一、网络爬虫的基本结构及工作流程一个通用的网络爬虫的框架如图所示：网络爬虫的基本工作流程如下： 1.首先选取一部分精心挑选的种子URL； 2.将这些URL放入待

2014-02-13 14:35:49 1019

转载 redis 札记 -- phpredis 中文说明

Redis 大名如雷贯耳，看官若不了解请百度~ phpredis是php的一个扩展，效率应该不会差下载地址如下： https://github.com/owlient/phpredis（支持redis 2.0.4）本文纯手工打造，转载请标明出处 http://blog.sina.com.cn/s/blog_4b75b0020100neea.html Redis::__con

2014-02-10 10:43:09 459