爬虫
geerniya
这个作者很懒,什么都没留下…
展开
-
爬虫学习——Scrapy安装报错Microsoft Visual C++ 14.0 is required
windows 环境在通过pip install scrapy安装scrapy时,出现如下错误命令:building 'twisted.test.raiser' extension error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landi原创 2017-12-17 20:51:53 · 882 阅读 · 0 评论 -
爬虫学习——爬虫之soup.select()用法浅析
在学习Python爬虫过程中,主要用两个模块:import requestsfrom bs4 import BeautifulSouprequests用于将链接转化成html语言,而BeautifulSoup则用于查找需要的内容。最开始一般写成如下格式:res = requests.get('https://www.qiushibaike.com/hot/#') #以糗事百科为例soup =原创 2017-09-04 21:42:12 · 41986 阅读 · 2 评论 -
爬虫学习——爬虫之新浪新闻
学习资料参考:Python网络爬虫实战爬虫对象:新浪新闻主要练习简单的爬新闻标题,时间,内容,评论数等,并将其制作成Excel表格。源程序如下:import requestsimport jsonfrom bs4 import BeautifulSoupimport pandasresults = []zturl='http://api.roll.news.sina.com.cn/zt_lis原创 2017-09-03 17:29:36 · 628 阅读 · 0 评论