![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
requests
weixin_36605200
这个作者很懒,什么都没留下…
展开
-
python爬虫实战---猫眼电影:西虹市首富的评论抓取
本文旨在抓取电影的评论,包括电影评论者的昵称、来自的城市、评论内容、评分以及评论的时间,并将这些内容抓取下来保存到txt文本里面,并对其中的评论内容去重,并生成词云。导入库from urllib.error import HTTPError,URLError---异常处理from collections import defaultdict---创建列表from wordcloud i...原创 2018-08-22 08:10:38 · 2554 阅读 · 3 评论 -
python爬虫实战---今日头条的图片抓取
本文是主要在今日头条里面的以“街拍路人”为搜索条件去提取网页的图片和标题,并把标题当做文件夹的名称,创建该文件夹,把图片保存到相应的文件夹下。导入库from urllib.parse import urlencode---把字典里面的数据拼接成如下字符串格式:urlencode()的方法接受参数形式为:[(key1,value),(key2,value2),.....]或者可以是字典的...原创 2018-09-01 15:18:10 · 2125 阅读 · 0 评论 -
python爬虫实战---豆瓣电影top250的电影信息抓取
本文主要抓取豆瓣电影top250榜单里面的电影数据,提取的数据包括电影名称、电影的链接、电影的星级、电影引言、电影的评论 人数等。导入包from bs4 import BeautifulSoup as bs---进行网页解析import requests---用于网页请求import time---用于延长时间,防止过于快速抓取数据,封ipimport re---正则表达式使用...原创 2018-09-01 23:10:44 · 5200 阅读 · 2 评论 -
python爬虫实战---网易云音乐评论抓取
本文主要是提取网易云音乐中歌曲的评论时间、评论者昵称、评论内容,并把数据写进csv文件里面,读取文件里面存储的评论内容,根据指定的背景图制作词云,抓取目标https://music.163.com/#/song?id=1299557768,2018年八月最热新歌TOP50中的Animal歌曲。引言网易云大厂一般都对自己的数据做了很好的加密,一般直接爬取都爬取不到数据,这也是爬取当中一个很头...原创 2018-09-02 20:17:14 · 16554 阅读 · 6 评论 -
python爬虫----全国天气预报的获取
这次是通过全国天气预报的网站去抓取实时天气和预测未来24小时的天气,抓取的数据包括:地区的区号、地区名称、实时气温、湿度、风向、风力、预测的最高温和最低温、晚间风向、日间的风向和各自的风力大小,把这些数据存储到mysql的数据库当中,并利用pygal库来对数据进行可视化操作。抓取的网页通过分析可以看到一个数据的接口,可以获取全国的地区码,或者点击地图上的区域也能找到 http://fo...原创 2018-09-24 21:57:11 · 4258 阅读 · 26 评论 -
Python---喜马拉雅fm的音频爬取
前言眼睛看惯了文字,累了 ,转而用耳朵去聆听这世界。喜马拉雅FM,这里有我们想听的,用爬虫去抓取我们想要的音频!这次要抓取的是关于旅游篇当中的玩转西藏【旅游攻略】,去感受高原的风土人情,废话并不多说啦。环境win10+python3.7+sublime text导包import requests---->网页的请求和数据抓取import json--->数据格式...原创 2018-10-19 23:13:34 · 2244 阅读 · 0 评论