![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
文章平均质量分 82
皮卡丘学算法
算法工程师·武汉大学
展开
-
python抓取一个网页的源代码并存储到本地文件
1.1读取一个网页的源代码:url:我们要爬取的网页链接(例如:url = “https://www.hao123.com”)#读取一个网页的源代码import urllib.requestdef read_pageHtml(url): file = urllib.request.urlopen(url) data = file.read() return datau...原创 2018-04-08 17:33:29 · 27925 阅读 · 0 评论 -
python爬虫之Scrapy爬虫框架
1、windows下安装Scrapy框架cmd进入命令行模式pip install scrapy然后就是静静的等待安装完成常见问题:pip版本有可能太旧,此时只需要更新一下pip就好 (命令行中输入更新代码:python -m pip install --upgrade pip)2、Scrapy框架的基础知识2.1 基本组成:spiders为核心代码,主要是一些爬虫的...原创 2018-04-08 21:47:18 · 565 阅读 · 0 评论