爬虫
henusyb
这个作者很懒,什么都没留下…
展开
-
爬取斗图网的图片
单线程爬取斗图网的图片# -*- coding: utf-8 -*-import requestsfrom bs4 import BeautifulSoupfrom urllib.request import urlretrieveimport lxml,urllibfrom lxml import etreeimport os#基本urlBASE_URL = 'https://...原创 2019-04-20 12:14:15 · 596 阅读 · 0 评论 -
爬取中国天气
中国天气网爬取之华北城市数据爬取import requestsfrom bs4 import BeautifulSoupdef parser_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like G...原创 2019-04-20 12:16:05 · 637 阅读 · 0 评论 -
爬取电影天堂
电影天堂爬虫之网页分析from lxml import etreeimport requestsBASE_DOMAIN = 'http://www.ygdy8.net'url = 'http://www.ygdy8.net/html/gndy/dyzz/index.html'headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10....原创 2019-04-20 12:17:03 · 100770 阅读 · 0 评论 -
爬取豆瓣网电影的数据信息
爬取豆瓣网电影的数据信息# -*- coding: utf-8 -*-import requestsimport jsonfrom bs4 import BeautifulSoupdef get_page(): # 1. url url= 'https://movie.douban.com/cinema/nowplaying/kaifeng/' # 2. 请求时...原创 2019-04-20 12:17:53 · 949 阅读 · 0 评论