![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy学习笔记
文章平均质量分 74
Li_jm
这个作者很懒,什么都没留下…
展开
-
使用pycharm运行scrapy项目
初次使用scrapy来写爬虫,发现网上好多教程都是直接在命令行中执行,一般执行类似于下面的命令 1. scrapy crawl Crawler通过google发现scrapy命令可以从pycharm内部执行,我们执行scrapy命令其实相当于如下命令 1. from scrapy.cmdline import execute 2. execute()也就是说上面的命令 1. scrapy cr原创 2017-08-03 19:33:24 · 4721 阅读 · 0 评论 -
scrapy爬虫数据存入mysql数据库
上篇博客使用scrapy框架爬取豆瓣电影top250信息将各种信息通过json存在文件中,不过对数据的进一步使用显然放在数据库中更加方便,这里将数据存入mysql数据库以便以后利用。 运行环境: 1. win7-64bit 2. python 3.5.3 3. mysql 5.7.17安装mysql数据库模块打开命令行输入python后,通过import MySQLdb检查是否支持mysql原创 2017-08-05 13:20:09 · 39261 阅读 · 8 评论 -
使用scrapy框架爬取豆瓣电影top250信息
看了几篇博客,跟着其他大佬的讲解学习了一下使用scrapy框架爬取网站信息,然后自己趁热打铁一波爬取一下豆瓣电影top250运行环境 1. win7-64bit 2. python 3.5.3可以看到该页面结构如下图 而要爬取的部分为 通过查看源代码,需要解析的代码就是这么一部分<li> <div class="item"> <div class="pic"> <em原创 2017-08-04 20:19:45 · 8657 阅读 · 8 评论