![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Python
python记录
木子汐myt
这个作者很懒,什么都没留下…
展开
-
中国大学排名定向爬虫
爬取网址:http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html程序的结构设计:步骤1:从网络上获取大学排名网页内容 getHTMLText()def getHTMLText(url): try: r=requests.get(url,timeout=30) r.raise_for_status() r.encoding=r....原创 2019-07-15 20:12:28 · 157 阅读 · 0 评论 -
Scrapy爬虫框架基本使用
Scrapy 一个开源和协作的框架是基于twisted框架开发而来,twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞(又名异步)的代码来实现并发。整体架构如下:应用Scrapy爬虫框架主要是编写配置型代码产生步骤(1)步骤1:建立一个Scrapy爬虫工程scrapy startspider python123demp步骤2:在工程中产...原创 2019-07-21 23:38:44 · 128 阅读 · 0 评论