利用mechanize Gem实现一个简单的ruby爬虫

利用mechanize Gem实现一个简单的ruby爬虫

首先gem install mechanize

require 'mechanize'
 Mechanize.start do |agent|
   agent.get('http://lengxiaohua.com/random') do |page|
     page.search('.joke_ul li').each_with_index do |joke,index|
       break if index == 20
       puts joke.at('.para_can').text.strip
       puts "发布者：#{joke.at('.user_info a').text.strip}"
       puts "发布于： #{joke.at('.user_info p').text.strip}"
       puts '----------------------------------'
     end
   end
 end

http://lengxiaohua.com/random 是一个随机产生冷笑话的网站，每次访问产生20条笑话。

结果：

我们老师每节课否点名，今天班里后排座位上传来一个声音：靠点名留住学生的老师，和靠怀孕留住男人的小三是一样的。5、以前上学的时候，老师总是会说：不好好学习拿不了毕业证，没有毕业证就找不到女朋友。骗人，我都拿了毕业证好多年了，我还是没有女朋友。
发布者：110要报警
发布于： 22天前

---

论兴趣的重要性：给丈母娘买了台智能洗衣机，教了n多遍都不会用，也是没谁了。后来给她买了台麻将机，她不仅会用，有时坏了还会修呢！
发布者：专业坑人百合
发布于： 15天前

---

在杂志上看说穷亲戚多可怕多粘人，我跟父亲说爸咱家真好，没有穷亲戚诶！
父亲沉默了一会说：咱家就是别人家的穷亲戚啊！
发布者：失身人面像
发布于： 23天前

---