- 博客(4)
- 收藏
- 关注
原创 不用Python,怎么实现大数据爬虫项目?
作为一个大数据爱好者,希望通过Java语言实现网络爬虫,项目涵盖爬虫项目完整流程,包括数据爬虫、全文检索、数据可视化、爬虫项目监控、爬虫项目维护等等。同时,详细介绍了如何解决爬虫项目中经常遇到的棘手问题,包括破解网站反爬策略、网站模板定期变更、网站频繁访问IP被封等等问题。涉及的技术包括,Java、HttpClient、Redis、Solr、HBase、Zookeeper、HighChar
2016-11-15 14:23:57 1754 1
原创 给Hadoop初学者的一些建议
零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop并没有太大的困难。下面整理一下整个学习过程,给大家一个参考。首先我们要了解hadoop是什么?Hadoop能够做什么?Hadoop的使用场景是什么?Hadoop和大数据、云计算的关系是什么?如何使用hadoop?
2016-11-15 13:03:38 391
原创 【分享】初学hadoop的心路历程
在学习hadoop之前,我就明确了要致力于大数据行业,成为优秀的大数据研发工程师的目标,有了大目标之后要分几步走,然后每一步不断细分,采用大事化小的方法去学习hadoop。下面开始叙述我是如何初学hadoop的。 Hadoop学习两步走:linux学习、hadoop学习。 在接触hadoop之前我有java基础,为此我的计划是首先学习Linux,然后学习hadoop生态系统,为此学习hadoo...
2016-11-10 17:54:22 728
原创 给Hadoop初学者的一些建议
零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop并没有太大的困难。下面整理一下整个学习过程,给大家一个参考。首先我们要了解hadoop是什么?Hadoop能够做什么?Hadoop的使用场景是什么?Hadoop和大数据、云计算的关系是什么?如何使用hadoop?当大家对...
2016-11-09 13:25:08 2062
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人