爬虫，爬糗百热门段子

想爬东西，必须熟悉正则啊，换行的 /s ,任意字符的 . 。

先打开网页：

url = 'http://www.qiushibaike.com/hot/page/' + str(page)
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    headers = { 'User-Agent' : user_agent }

    request = urllib2.Request(url,headers = headers)
    response = urllib2.urlopen(request)
    content = response.read()

先看看你进入的网页里面有什么东西

print content 

利用正则表达式选取你所需要的

pattern = re.compile(r'<div class="content">\s<span>([\S\s]*?)</span>\s\s</div>')
    items = re.findall(pattern,content)
    #print items
    for item in items:
        print item

完整代码（爬两页的热门段子）：

import urllib
import urllib2
import re
duanzi=[]
for page in range(1,3):

    url = 'http://www.qiushibaike.com/hot/page/' + str(page)
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    headers = { 'User-Agent' : user_agent }

    request = urllib2.Request(url,headers = headers)
    response = urllib2.urlopen(request)
    content = response.read()
    pattern = re.compile(r'<div class="content">\s<span>([\S\s]*?)</span>\s\s</div>')
    items = re.findall(pattern,content)
    for item in items:
        duanzi.append( item)

最终打印结果如下：

祸不及妻儿是屁话。古代的那些王侯将相，一生气杀个几万人，不皱一点眉头。我们这里一当官的。他爷爷是地主。他爸爸就是地主二代。以前老是搞批斗，他老爸过得也很惨。导致他爸40岁才找到对象，快50了才有的他。结果这货有出息，当了大学生，后来当了公务员。当年有群红卫兵老是批斗他老爸。别看那群人已经死了。照样不放过他们。那是带着一批手下，光明正大地掘坟。他要在这群墓地上面建个公园。哪怕没有人上这玩也没关系，他主要目的就是把这些坟给刨了。 

看了一个视 频，几个人在杀猪，另外一头猪嗷嗷叫着想来救被杀的猪，我感叹不已，于是拉着老公一起看，说：老公，你看，猪也是有真爱的!<br/>老公看了一下，深情地看着我：嗯，哪天你被 杀，我也会这样的! 

这么多年了……今天见到了初恋…怎么还特么是当年的感觉…本人35了！突然发现，爱也许是一瞬间，也许是一辈子！ 

站商场门口边玩手机，一个大哥苦口婆心的劝我“总玩手机不好，把手机放兜里，看看这社会多美好！”不一会就看一个姑娘推门的时候大哥把手伸她兜里拿出来了个手机.... 

不割，优他个衣库的还得用_____________今天看书等女朋友，由于一般时候都看手机，很久没看书了，想看下女朋友还要多久，竟然下意识的在书的右上角看看几点了 

这是什么事啊， 

老公泡了一杯咖啡，才喝一口，我用眼瞪着他，他立马双手端到我面前，一旁写作业的儿子见状感慨说:“爸长大了，懂事了” 

当初上高中的时候，午休时间少，中午吃饭都是跑着去，一般老师也不太会拖堂。<br/>上午最后一堂课，快下课时，我悄悄准备好。所以，一打铃我就冲出去，跑到食堂打完饭才看见同班同学陆陆续续的过来。我问同桌，今天你们怎么那么慢？<br/>同桌默了一下说，你一打铃就冲出去，老班惊得一脸懵，也不知道题讲到哪了，所以又重讲了一次。。。 

新来的同事小李，每天早上总是提前到办公室。把领导办公室的卫生打扫的一尘不染，把领导的杯子刷干净，泡好茶。然后，在用领导的高级茶叶给自己泡上，坐在领导的椅子上享受会…… 

点赞的随便挑 

上大学的时候喜欢往床头存点零食，室友也知道，有一天我回去发现零食不在了，不用想也知道被室友吃了，我都没说话，结果室友来和我说你下次别买这个味的薯片，他不大爱吃这个味道的，我当时差点没忍住打死他。 

本人现在做代驾的，有次接单去碧桂园，差不多快10点了，因为要回市区，要坐公交车回去，有个朋友也在那一块，我问他这时候有公交车吗？他说有，结果他坐上了，等我有了差不多1公里到车站了，他才打电话过来说那是最后一班公交车。。。。留我在原地一脸懵逼的吹着西北风，[哀怨] 

艹艹艹，，2017最后一天我哥被人砍了。。。原因竟然是旁边两桌人喝多了打架他去拉架。被砍了两刀，不知道该说什么好了 

昨天去邻居家串门，邻居说他犯了个错误，我说什么错误，她说我前几天看见我单位的一位女同事，女同事的姑娘结婚第三天了，我们那有个风俗结婚三天回门，邻居对她同事说姑娘三天圆坟了，说话走嘴是真气人。 

撸主很矮，据说低着头走路可以撞着妹子的胸，我走路一直低头玩手机，说好的妹子呢？说好的胸呢？，那个说走路撞着妹子胸的出来让，我保证不打死你 

和朋友聊天，关于父母催婚群里有个小姑娘说：“有次相亲，双方父母都在，我坐下就给自己点了支烟，顺便给男方发了一根回家后，我和衣架都差点被我爸打断”，哈哈哈，不惧生死的可以get新技能了！ 

元旦放假孩子玩疯了，作业没完成，惴惴不安地去上学，结果居然并没有挨老师的批评。<br/>原来老师叫他们同桌之间互查，作为比他还渣的同桌根本不知道啥作业，翻了翻他上周的作业，说了声OK，就让他蒙混过关了。 

我的18岁给了山西，到现在，能联系的没几个，现在30多了，你们那帮还喘气的在那里，66245，来几个联系上的呗， 

大堂姐和我一起参加婚礼，桌旁一个七八岁的小男孩忽然发问：阿姨你结婚了吗？<br/>大堂姐一怔，下意识回答：还没有。<br/>小男孩继续追问：阿姨你今年几岁了？为什么这么大年纪了还没结婚？<br/>大堂姐笑眯眯得蹲下身，亲切的回答道：因为我怕生出像你那么丑的小孩呀。<br/>小男孩听了，脸色一白，哇的一声就哭了。 ​​​ 

对于夏天只穿裙子不穿裤子的我，现在却穿裤子了，而且还觉得感觉不错，是谁改变了我？…是驾校！！！ 

“如果有一天我的生命要靠仪器来维持，请你帮我关掉电源。”<br/>“好的，我一定帮你办到。”<br/>“哎！哎！哎！你关我路由器干嘛？” 

我正剪着头发，一个大叔进来：“我去宾馆，小妹你在我睡醒前，帮我把头发洗好吹好吗？”小妹：“可以啊！跟上次一样快！”敢情这是要把洗头小妹带去宾馆吗？。     大叔突然把假发一脱递给小妹，露个光头：“你别弄坏了啊！” 

我也要去这家公司，有没有一起的？ 

这2逼是背着我撩妹儿还是逼没装到位。 

有没有跟我一样的，来到新的城市没过两天就想回家有没。 

男票特别喜欢钻研美食 下午给我烙馅饼 我烙这东西 每次都弄得特别硬 他做的软硬适中 隔壁大姨告诉我说 这跟和面有一定关系 我一边吃 一边夸赞“不错啊 面和的挺好 味道也特别不错 怎么学的……”他有点小得意的说“小时候撒尿和泥 还有给狗做食 都是剩菜剩饭兑在一起搅一搅 跟弄这个的馅 一个道理 嘿嘿 有经验……”结果……唉！不说了 我男票还在医院躺着 我去给他送饭了 朋友们 这个点 路上不堵吧？ 

之前在草津一个温泉酒店打工，一起整理房间的日本大叔看着电风扇问我:你知道这个东西吗?我微微一笑，觉得事情并不简单，说不知道。大叔说:这是电风扇，中国没有吧? 我说真的? 我出生到现在村里的人都在用空调了。哈哈哈 

袜子破了，五个脚趾头都伸出来了，刚放进垃圾桶。<br/>媳妇就骂：赶紧捡出来洗洗！<br/>我低头嘟囔：烂了，不好穿了、、<br/>媳妇一家伙闪过来，快打人了都：叫你洗，你就洗！看把家熏的臭的，洗完再扔！<br/>摸出来，洗了又放进去垃圾桶…<br/>今晚过得挺好，没再骂我[哈哈]。 

在饭店洗手，水管里竟然存着气，像爆炸一样，溅了我一裤子。回去时哥几个都嘲笑我尿裤子了，我也没解释。<br/>不一会，伟哥去厕所回来，我一看比我还惨，不仅裤子，连衣服都湿了一片。<br/>有个哥们咋咋呼呼地嚷嚷:屌爆了屌爆了，衣服都尿上了！ 

这个身材怎么样 

我是一名快递员，昨天下班刚到家，邻居张阿姨让我去xx咖啡厅相亲！我说换件衣服洗漱下！<br/>张阿姨：不用了，就这身快递服就行，现在你们小年轻不是都流行什么制服诱惑嘛！<br/>你们别说，张阿姨还挺厉害的，真把美女诱惑了！ 

2017的最后一天，得罪了食品药品监督局，局长亲自来给贴了封条。还有比我更糗的吗？ 

今天去家门口常去的网吧，进去后，老板说这几天不营业了，网吧机器配置带不动绝地求生升级，网吧需要升级改装，你过几天再过来吧，过几天我再去网吧，我凌乱了，网吧居然升级成麻将馆了。。。** 

经理热衷于养生<br/>买了一双鞋垫<br/>一千七，你没看错，一千七，鞋垫。<br/>问他垫着有什么效果。<br/>滔滔不绝说了半天，我们半信半疑<br/>最后有些生气了，说<br/>这样说吧！自从我垫了一千七的鞋垫，走路就再也不摔跤了…… 

小唐僧哈哈 

今天回家，帮老妈收拾屋子，结果在床底夹缝处发现了一个信封，里面零零散散的装着二百多块钱...我马上拿给老妈说道：“快看！老爸的私房钱被我找到了...”老妈淡定的接过信封，放回了床底的夹缝里，说道：“你爸这点钱都攒了二十年了，每次收拾屋子，我都打开看一眼，实在不忍心下手...” 

copy from UC 

楼下是个四十来岁的中年妇女，但是风韵犹存，老公常年在外…割…割…今天早上，我出门晨练，下楼的时候她家里门刚好打开了，那粉红色的睡衣，若隐若现的那啥……娇滴滴的跟我说：哟，楼上小帅哥啊，您天天锻炼，身体咋样啊？还行吗？ 

一年了没什么好送的。只能送这个给你们了。 

告别单身狗！ 

几个月前，公司新来一萌妹子，这货总是对自己的妆容没自信，经常在门口那辆保&#39;时捷黑漆漆的车窗前，照上半天，甚至解开外套整理内衣，同事无不嘲笑。<br/><br/>今天我们去参加她的婚礼，新郎就是那辆保&#39;时捷车主~老板的儿子，我们望着她婚纱半露的D胸陷入了沉思。 

点个赞吧，他们都好辛苦的，都是养家糊口啊。 

初中住校。入校第一天晚上，各种睡不着，盯着天花板看了许久，实在无聊，就把宿舍的十一个人都吵了起来。我们闹得那叫一个嗨啊，最后把左右宿舍的人都带动了起来，第二天，老师让老妈来学校把我领回家。老妈一再保证我只是认床，过几天就好了，那个老师才让我留下。<br/>这是我读书十几年第一次被请家长，也是第一次写检查。 

高中时，我和一个男生彼此暗里喜欢，但这胆小鬼一直不敢表白。<br/>高三临近毕业，我生日那天。他手拿一枝玫瑰，单膝跪在我面前，我小鹿撞怀，既害羞又期待……<br/>这货满脸通红，憋了半天，来了一句 ：福如东海，寿比南山！！！ 

年初一看到的，谁能对上下联，年难过，实在难过，再难也得过， 

在广州，经常改WiFi密码，密码都巨麻烦，得用一张纸记着。<br/>回老家，发现全村所有人的WiFi密码都是八个八。<br/>我以为是装WiFi的人设的，想改一个，我爸说，“千万别改，你把密码改了别人肯定得说咱家小气！丢不起那人！” 

我载老婆去医院看望剖腹产的小姨子，老婆先上去了，我找停车位，我转了几圈都没位子，只好把车开到医院对面洗脚城。    我刚开进去，我连襟（小姨子的老公）就从洗脚城出来，他掏出香烟给了我一支：“这样子，你不说，我也不说，你看成不？” 

每天早上都要去楼下肠粉店点一份米粉，有天早上老板娘给了我一份肠粉，我从来没在她家吃过肠粉，她非要说我点错的，我说我每天都在你家吃，从来没有点过肠粉！老板娘说那正好换一下口味！我思索了一下，觉得老板说得对，从此早餐我就换成包子！ 

离婚开始看糗百的，五年了，今天结婚。祝福我吧！ 

小学生放假了