网络爬虫那点事
文章平均质量分 86
互联网上有的,它就能拿到。
柏伦 Belen
创业中。专注于生物科技信息化定制化开发、信息化规划咨询及行业软件运维。产品涵盖实验室管理系统、样本管理系统、生物信息云平台、生物客户服务系统等。
展开
-
谈Java网络爬虫的实现
网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成,其基本架构如下图所示:传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。对于垂直搜索来说,聚焦爬虫,即有针对性地爬取特定主题网页的爬虫,更为适合。本文爬虫程序的核心代码如下:Java代码p转载 2014-09-11 22:50:56 · 25649 阅读 · 7 评论 -
模拟登录百度做一些事
最近写了一个程序,模拟登录百度进行一些操作。这里原创 2014-08-31 17:06:34 · 27606 阅读 · 43 评论 -
回忆新浪微博
好久没上微博了,不知道为什么,很少上了,身边的朋友上的也少了!现在上微博也是去“热门微博”看看,随便娱乐一下,或随手转发一个微博原创 2014-10-24 13:56:59 · 27735 阅读 · 5 评论 -
网络视频源地址抓包分析(1)
1、准备工具抓包工具:firebug或httpwatch,这里我使用firebug。它是火狐自带的组件,如果浏览顺上没有可以在【工具--》附加组件--》搜索fireug安装即可】。谷歌浏览器记事本2、以优酷、腾讯的例子为例。 优酷访问优酷www.youku.com,随便找了个视频,标题是:违法司机强行开车冲撞执勤交警 被拘十日地址:http://v.youku.co原创 2013-04-02 17:57:45 · 12462 阅读 · 1 评论 -
网络视频源地址抓包分析(2)
由于时间问题,我快速前进了!有什么不明白,给我留言就行了!在上篇说到用firebug查看了有用的URL。此时,用firebug点击flash,我找到了这个链接:http://f.youku.com/player/getFlvPath/sid/136498197014419605553__00/st/flv/fileid/030002010051593E38054E06B0AAF63原创 2013-04-03 17:50:05 · 4716 阅读 · 0 评论 -
网络视频源地址抓包分析(3)之获取腾讯视频源码
获取网络视频源原创 2014-04-17 10:33:05 · 33821 阅读 · 5 评论