- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 scrapy爬虫++mysql数据库+tomcat服务器+android客户端项目demo
之前scrapy框架爬取豆瓣电影top250信息，爬虫数据存储到mysql数据库写了如何构建一个简单的scrapy项目以及如何将爬取到的数据存储到数据库中，接下来记录一下tomcat服务器端通过j2ee项目实现jdbc（数据库连接）访问这些数据以及通过json实现服务端与android客户端的数据交流。 运行环境 1. win7-64bit 2. Apache Tomcat/8.5.12 3.
2017-08-09 16:30:30
782
原创 scrapy爬虫数据存入mysql数据库
上篇博客使用scrapy框架爬取豆瓣电影top250信息将各种信息通过json存在文件中，不过对数据的进一步使用显然放在数据库中更加方便，这里将数据存入mysql数据库以便以后利用。 运行环境： 1. win7-64bit 2. python 3.5.3 3. mysql 5.7.17安装mysql数据库模块打开命令行输入python后，通过import MySQLdb检查是否支持mysql
2017-08-05 13:20:09
39261
8
原创 使用scrapy框架爬取豆瓣电影top250信息
看了几篇博客，跟着其他大佬的讲解学习了一下使用scrapy框架爬取网站信息，然后自己趁热打铁一波爬取一下豆瓣电影top250运行环境 1. win7-64bit 2. python 3.5.3可以看到该页面结构如下图 而要爬取的部分为 通过查看源代码，需要解析的代码就是这么一部分<li> <div class="item"> <div class="pic"> <em
2017-08-04 20:19:45
8657
8
原创 使用pycharm运行scrapy项目
初次使用scrapy来写爬虫，发现网上好多教程都是直接在命令行中执行，一般执行类似于下面的命令 1. scrapy crawl Crawler通过google发现scrapy命令可以从pycharm内部执行，我们执行scrapy命令其实相当于如下命令 1. from scrapy.cmdline import execute 2. execute()也就是说上面的命令 1. scrapy cr
2017-08-03 19:33:24
4721
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人