大数据
文章平均质量分 77
大数据观察者
这个作者很懒,什么都没留下…
展开
-
不用Python,怎么实现大数据爬虫项目?
作为一个大数据爱好者,希望通过Java语言实现网络爬虫,项目涵盖爬虫项目完整流程,包括数据爬虫、全文检索、数据可视化、爬虫项目监控、爬虫项目维护等等。同时,详细介绍了如何解决爬虫项目中经常遇到的棘手问题,包括破解网站反爬策略、网站模板定期变更、网站频繁访问IP被封等等问题。涉及的技术包括,Java、HttpClient、Redis、Solr、HBase、Zookeeper、HighChar原创 2016-11-15 14:23:57 · 1754 阅读 · 1 评论 -
给Hadoop初学者的一些建议
零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop并没有太大的困难。下面整理一下整个学习过程,给大家一个参考。首先我们要了解hadoop是什么?Hadoop能够做什么?Hadoop的使用场景是什么?Hadoop和大数据、云计算的关系是什么?如何使用hadoop?原创 2016-11-15 13:03:38 · 391 阅读 · 0 评论