爬虫
文章平均质量分 83
莫失莫忘Lawlite
github地址:https://github.com/lawlite19 欢迎Follow、Star、Fork!
个人网站:http://lawlite.me
展开
-
WebMagic爬虫框架及javaEE SSH框架将数据保存到数据库(二)
关于一些基本内容可查看上一篇博客:http://blog.csdn.net/u013082989/article/details/51176073一、首先看一下爬虫的内容:(1)学科类型、课程、课程对应章节、课程对应参考教材(主要是要将课程章节对应到上一级爬取的课程上,还有就是课程教材的爬取比较麻烦,下面会讲到)课程章节:课程教材教材内容二、原创 2016-04-20 11:10:18 · 7168 阅读 · 2 评论 -
使用WebMagic爬虫框架及javaEE SSH框架将数据保存到数据库(一)
由于近期做毕设,需要从网站上爬取教学资源,下面实现一个简单的爬虫,并将爬取的数据保存到数据库中。一:有关爬虫框架的选取,我使用的是WebMagic爬虫框架,中文文档:http://webmagic.io/docs/zh/它是一个开源项目,github地址:https://github.com/code4craft/webmagic,之前想用python写爬虫的,也写了一点,但还要学习操作数原创 2016-04-17 23:12:30 · 8149 阅读 · 8 评论 -
[Python]使用Scrapy爬虫框架简单爬取图片并保存本地
初学Scrapy,实现爬取网络图片并保存本地功能一、先看最终效果保存在F:\pics文件夹下 二、安装scrapy1、python的安装就不说了,我用的python2.7,执行命令pip install scrapy,或者使用easy_install 命令都可以2、可能会报如下错误***********************************************************原创 2016-09-11 23:43:46 · 28257 阅读 · 13 评论 -
scrapy爬虫框架将数据保存Mysql数据库中
scrapy爬虫框架简单Demogithub地址:https://github.com/lawlite19/PythonCrawler-Scrapy-Mysql-File-Template 使用scrapy爬虫框架将数据保存Mysql数据库和文件中settings.py修改Mysql的配置信息#Mysql数据库的配置信息MYSQL_HOST = '127.0.0.1'MYSQL_DBNAM原创 2016-09-19 21:55:09 · 41243 阅读 · 13 评论