爬虫小白进阶之路
戴竹蜻蜓穿过森林_
一写代码就犯困
展开
-
python爬虫豆瓣电影250并存入mysql(函数版)
今天来爬取豆瓣电影250排行榜并存入mysql中目标地址:豆瓣电影250打开f12,可以看到我们所需要的信息全部都在标签下,先爬取一页的内容一开始还是先导入我们所需要的库,这3个库都可以直接使用pip下载,多的不再赘述:import requestsfrom bs4 import BeautifulSoupimport pymysql写入url和headersurl = 'https://movie.douban.com/top250'headers = { "User原创 2021-04-29 18:10:14 · 2395 阅读 · 1 评论 -
python爬虫爬取知乎回答中的表情包
今天在我的知乎收藏中看到了收藏已久的一个表情包回答,当初应该是看到表情包很可爱,但苦于图片太多,当初没有一个个下,今天直接使用爬虫直接爬取该回答下的所有表情包。首先导入所需要的库import requestsfrom bs4 import BeautifulSoup写入url和headersurl = 'https://www.zhihu.com/question/329525297/answer/1449023611'headers = { "User-Agent": "Mozill原创 2021-04-20 21:55:19 · 464 阅读 · 1 评论 -
requests 爬取的中文乱码
本人初学爬虫,在进行一次简单的爬取过程中中文乱码了,import requestsfrom bs4 import BeautifulSoupurl = 'http://www.biqukan.com/1_1094/'req = requests.get(url = url)html_data = req.textdata_bf = BeautifulSoup(html_data)div = data_bf.find_all('div',class_ = 'listmain')pr原创 2021-04-09 16:11:15 · 207 阅读 · 0 评论