【爬虫】Java基本技术一览表

 

现代社会，有效的信息对于人们来说，就像氧气一样，不可或缺，互联网时代的到来，大数据时代的风口，让数据的收集与整理工作变得更加的容易。当你在网络之间冲浪时，网络爬虫技术也在网络中，穿梭，自动收集互联网上有用的信息。

很多编程语言都可以用来开发爬虫工具，相对于Python，Java由于严谨的语法结构和体系结构，相对于其他语言在爬虫技术上有一定的优势。

很多的爬虫技术都是用Java或者C#开发的，如果，运行在服务端的爬虫，也可以使用Java开发。

爬虫技术需要的一些基本技术基础。

在以后的叙述中，我们所有的技术基础以Java的基本开发作为爬虫。

技术基础：

1：熟悉JDK 和 会使用 Eclipse 或者IDEA 开发工具

2：熟悉类和对象

3：了解常量

4：掌握基本的命名规范

5：熟悉基础语法

6：熟悉条件判断（判断一个网址是否是详细页，如果是详细页，就从这个网址提取正文）

7：了解循环，数组，位运算

8：理解枚举类型

9：熟悉比较器，集合类，散列表

10：熟悉文本文件读取，写入，二进制文件操作

11：了解基本的多线程，线程池

12：熟悉折半查找（在文本排重中需要用到折半查找，需要查找一个数组中是否存在某个数）

13：javax.imageio.ImageIO执行简单的读写图片文件

 

上述简单的介绍了网络爬虫所需要的Java技术基础，对于之前有Java功底的，可节省些许时间。