![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
geter_CS
你要把时间用在美好的事情上,不要总是在不值得的事情上浪费。停止自我否定,多去肯定自己;停止反复懊悔,学会坦然放下;停止急于求成,耐心等待自律带来的变化......
展开
-
python的requests库简介
requests是python的一个简单易用的爬虫框架。原创 2018-12-07 13:41:31 · 1905 阅读 · 1 评论 -
win10+selenium+python配置(chrome)
selenium可以在https://pypi.org/project/selenium/查看相应的版本,使用pip安装接下来安装chrome驱动,需要翻墙,地址是:http://chromedriver.storage.googleapis.com/index.html下载时对应自己电脑上的chrome浏览器版本。在关于里查看。在c盘建一个文件夹,将chromedriver.exe放在其...原创 2018-12-26 13:33:36 · 660 阅读 · 0 评论 -
Selenium+Request+Beautifulsoup(周杰伦,林俊杰歌词爬取)
爬去JZ的歌词是为了做一个NlLP的任务,这里是在python上使用Selenuim+Requests+BeautifulSoup实现的。使用selenuim是因为会涉及到动态网页抓取,又使用Request的原因是selenium对网页抓取时是要先进行加载的因此很耗时间,而Request不需要网页加载。对网页解析既使用了selenium也是使用BeautifulSoup爬取的网站是千千音乐第一...原创 2019-04-25 13:23:28 · 1199 阅读 · 0 评论 -
多进程爬虫
接Selenium+Request+Beautifulsoup(周杰伦,林俊杰歌词爬取)为了提升爬取速度,这里使用多进程的爬取机制来获取歌词.from multiprocessing import Process,Queue#后面这个Queue只能在import pandas as pdimport requestsfrom bs4 import BeautifulSoupimport...原创 2019-05-06 09:14:15 · 1868 阅读 · 1 评论