[java爬虫] 一.从哪里开始到哪里开始要哪里开始

我不想一边又一遍的讲爬虫是什么,我写这个系列的目的:

1.首先,打破大家学习新事物的误区;我认为能看到我博客的人大部分都是成年人,成年人的时间是不多的,宝贵的,所以不能再像以往上学时从基础开始.

2.其次我要写博客就要写干货;直接从数据上下手,将内容都以"模块化"书写并使用.

3.将我的所学(自学)的内容分享出来;可能真正的高手与大佬会认为我写的会比较简单基础繁琐,也欢迎各位指出我的错误,在这里先感谢各位.

 

我现在正在整理我所有爬虫项目,准备通过一条线将他们关联起来,目前整理的为:

1.爬虫方法与基础网页爬取,数据筛选.

2.爬虫筛选数据都有什么方法,IO流方法,MySQL数据库使用.

3.编写爬虫测试工具(以后会不断完善工具).

4.综合爬取CSDN首页数据.

5.小总结,并放出我常用的编码格式转换等方法.

6.爬取36氪的24小时新闻(涉及寻找网页接口),常用网页接口查找方法.

7.爬取网站图片,图片爬取方法(IO流的使用).

8.使用爬虫进行网站登录,爬出登录后内容.

9.爬取国内外ip地址,制作ip代理池,更换ip隐藏自己.

10.未完待续.

 

目前就是这样,之后我还会整理的.