![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python的scrapy爬虫
scrapy爬虫
有脑子不用就是玩
这个作者很懒,什么都没留下…
展开
-
2、scrapy模块爬取简书
scrapy模块爬取简书文章目录scrapy模块爬取简书1、创建爬虫1.1、使用pycharm打开项目,并在项目目录中创建爬虫启动文件1.2、修改settings.py文件1.3、修改爬虫文件 jianshu.py1.4、启动startjianshu.py文件,测试爬取2、获取某一篇文章的内容2.1、先确定想要获取到的数据2.2、对想要的内容进行解析获取3、获取右侧的推荐阅读的文章,获取到推荐阅读的url4、循环爬取1、创建爬虫scrapy startproject jianshuNote # 创原创 2020-12-09 20:30:09 · 388 阅读 · 0 评论 -
1、scrapy模块的简单使用
scrapy模块目录安装scrapy创建一个项目安装scrapy# 如果安装了conda 直接使用conda install scrapy# 使用pip 安装pip install scrapy# 安装出错# 如果是Twisted安装出错,进入官网https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml# 找到Twisted安装包,下载下来之后使用 pip 安装创建一个项目打开一个cmd,进入安装scrapy的环境创建一原创 2020-12-09 17:04:11 · 185 阅读 · 0 评论 -
爬虫基础
爬虫目录基础知识:Python基础字符串列表 字典操作文件写入操作,csv、json、txt文件的写入操作爬虫部分xpath语法网址结构其他部分数据库操作Python基础返回目录##### 字符串# 去空格,以及首尾多余的\n \r >>>a = ' \n erefe\r'>>>a = a.strip()>>>aerefe# 转换成列表>>>b = '1,2,3,4,原创 2020-12-09 17:03:43 · 232 阅读 · 0 评论