千丈之松的专栏

实践是最好的成长、发表是最好的记忆!!

技术交流,扫描关注技术公众号!

精选各领域互联网技术, 推送前后端、算法、人工智能领域优质技术文章!! 本公众号由阿里、网易、美团等团队组成 精选各领域互联网技术, 推送前后端、算法、人工智能领域优质技术文章!! 本公众号由阿里、网易、美团等团队组成。...

2018-11-20 20:40:13

阅读数 176

评论数 0

最基本的网页爬虫(数据采集)

经常看到一些交流网页爬虫的初学者来问有没有教程,什么是爬虫呢?(ps:不是爬虫类,记得最搞笑的是一个交流这个主题的群,有人进来发广告,广告的内容则是卖蜥蜴、变色龙之类的爬虫)。ok,言归正传,什么是网络爬虫呢?     网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为...

2016-02-01 16:55:58

阅读数 1682

评论数 1

用生产者消费者模式实现爬虫批量提交网页给搜索引擎

业务:爬取国内部分招聘网站的职位信息。。当爬虫线程抓取到的页面数据到一定量时或者一定时间内。提交给搜索引擎solr(提高 索引性能)。循环爬行操作。。从而实现更高的资源利用率。。思路:N个线程爬虫作为Producer,提交搜索引擎作为Consumer。 1:爬虫:crawler4j ; ...

2015-04-08 18:52:40

阅读数 2996

评论数 0

nutch的定时增量爬取

脚本大致分为8部: Inject URLs(注入urls) Generate, Fetch, Parse, Update Loop(循环执行:产生待抓取URL,抓取,转换得到的页面,更新各DB) Merge Segments(合并segments) Invert Links(得到抓取到的页面的外连...

2015-03-19 16:55:48

阅读数 2455

评论数 3

爬虫nutch

爬虫,基本可以分三类: 1.分布式爬虫:Nutch 2.JAVA单机爬虫:Crawler4j、WebMagic、WebCollector 3. 非JAVA单机爬虫:scrapy Nutch:分布式爬虫 ...

2015-03-18 19:36:55

阅读数 1443

评论数 0

Nutch相关框架安装使用最佳指南

一、nutch1.2 二、nutch1.5.1 三、nutch2.0 四、配置SSH 五、安装Hadoop Cluster(伪分布式运行模式)并运行Nutch 六、安装Hadoop Cluster(分布式运行模式)并运行Nutch 七、配置Ganglia监控Hadoop集群和HBase...

2015-03-13 17:57:54

阅读数 832

评论数 0

浅谈搜索引擎日志分析(SEO)

对于网站优化来说,搜索引擎日志分析是必不可少的一块,无论你是收录上百的小型网站,还是收录上百万的大中型网站,SEO要想做得好,都必需进行科学的日志分析,日志是发生在网站服务器上的所有事件的记录,包括用户访问记录,搜索引擎抓取记录,对于一些大型网站来说,每天的日志都有好几个G大小的,我们可以使用li...

2015-02-28 12:51:47

阅读数 1209

评论数 0

Jsoup 爬取页面的数据和 理解HTTP消息头

推荐一本书:黑客攻防技术宝典.Web实战篇 ; 顺便留下一个疑问:是否能通过jsoup大量并发访问web或者小型域名服务器,使其瘫痪?其实用jsoup熟悉的朋友可以用它解析url来干一件很无耻的事(源码保密)。呵呵,接下来简单的介绍下JSOUP。 jsoup 是一款基于J...

2014-10-22 10:20:11

阅读数 7758

评论数 2

提示
确定要删除当前文章?
取消 删除
关闭
关闭