爬虫之路
文章平均质量分 75
masaka的树屋
这个作者很懒,什么都没留下…
展开
-
爬虫之路——DAY2
python正则表达式的一点问题原创 2016-06-27 20:27:49 · 203 阅读 · 0 评论 -
爬虫之路——Day3
用来导入豆瓣主页所有的推荐电影 import requests import pymongo import re import time connection = pymongo.MongoClient() att = connection.douban tags = {'热门', '最新', '经典', '可播放', '豆瓣高分', '冷门佳片', '华语', '欧美', '韩国原创 2016-08-28 15:36:13 · 359 阅读 · 0 评论 -
爬虫之路——Day4
最近闲着没事想统计一下目前很火的直播网站的观众数量究竟是多少,所以通过爬虫爬取了斗鱼(http://www.douyu.com/directory/all)的观众数量。首先可以通过网页源代码获取此时直播的页数,之后利用正则表达式取出主播名字以及对应主播的观众数量,存入数据库,接着再对每页都进行相同的操作,并且每间隔10分钟就统计一次,由此来获得人数随着时间变化的关系。 下图是某一时间得到的直播情原创 2016-08-31 14:31:42 · 270 阅读 · 0 评论