这两天要写一个爬虫的程序用来抓取想要的数据然后写入数据库,查了好多资料才写了出来,下载贴出来和大家分享下
一、下载spider
二、创建一个c/s程序
三、
四、读取网页的内容提取自己想要的数据
完成
当然这个只是爬取数据到本地,然后再读取,这样的效率可能会比较慢,大家把这个熟悉后可以通过自己修改下直接接收爬出来的数据进行分析读取然后写到数据库,或者通过HtmlParser来分析buffer来分析数据,在这里我就不一一进行讲解了
这两天要写一个爬虫的程序用来抓取想要的数据然后写入数据库,查了好多资料才写了出来,下载贴出来和大家分享下
一、下载spider
二、创建一个c/s程序
三、
四、读取网页的内容提取自己想要的数据
完成
当然这个只是爬取数据到本地,然后再读取,这样的效率可能会比较慢,大家把这个熟悉后可以通过自己修改下直接接收爬出来的数据进行分析读取然后写到数据库,或者通过HtmlParser来分析buffer来分析数据,在这里我就不一一进行讲解了