我知道很多人找到了博客,但是我就是要再写一篇,没有为什吗,就是因为我看不懂他们写的。pycharm的安装库都和另一个不一样,这个会一样吗?这个题的第一步我们需要已经安装好了的库,不会的看上一篇博客博客链接我们打开pycharm,找到View --> Tool Windows --> Terminal(这个意思是终端就相当于一个cmd的窗口,只不过在pycharm中),然后我们会看到一个路径
![b1bc8aa475fb0ee19b3e3975ff24a597.png](https://i-blog.csdnimg.cn/blog_migrate/d3d69647bc51942faba1ddcba25f5391.jpeg)
没有也没有关系,我们用命令行的方式走一个就行,such as
cd D:python1
然后你输入
scrapy startproject suibian#scrapy startproject 项目名12
![6d4e9278540443435165824db46465c3.png](https://i-blog.csdnimg.cn/blog_migrate/7ea4cb07d0d032561184b50b5e7f1c6e.jpeg)
我们发现多了点东西接着走,
cd xinwen1
进入xinwen的目录中,执行
scrapy genspider lm news.pdsu.edu.cn#这里边lm是文件名称,news.pdsu.edu.cn 是你要爬取的域名12
执行
scrapy crawl lm1
![d52e4fb47fe8a9278da25386762da096.png](https://i-blog.csdnimg.cn/blog_migrate/f6892fc3a0ad61cb488ab76990b0e0b4.jpeg)
然后你看图中多了一个文件lm.py,毫不犹豫的打开,粘贴下面代码
# -*- coding: utf-8 -*-import scrapyfrom bs4 import BeautifulSoupimport reclass lmSpider(scrapy.Spider): name = 'lm' allowed_domains = ['pdsu.cn'] start_urls = ['http://news.pdsu.edu.cn/'] def parse(self, response): html_doc = response.text soup = BeautifulSoup(html_doc, 'html.parser') re = soup.find_all('h2', class_='fl') content = '' for lm in re: print(lm.text) content += lm.text + '' with open('e:lm.txt', 'a+') as fp: fp.writelines(content) # 文章内容保存在e盘的lm.text中 1234567891011121314151617181920212223242526
然后你就能看你的E盘
![662c1431a11ec31d266d229c3acc1fbf.png](https://i-blog.csdnimg.cn/blog_migrate/9eac148b7a8cb1ffeeb46e9f8cfaabc1.jpeg)
至此完结。