150行代码写爬虫(二)

最新推荐文章于 2024-07-14 20:20:34 发布
最新推荐文章于 2024-07-14 20:20:34 发布
阅读量294 收藏
点赞数
分类专栏： python 文章标签： 爬虫 python scrapy python spider CrawlSpider

上篇内容：http://dushen.iteye.com/blog/2415336

项目地址：https://gitee.com/dushen666/spider.git

 

继续上一篇的内容，在上一篇的时候，我们已经可以将数据爬取下来了，并保存为了json文件的形式。本篇我要将数据插入关系型数据库，并实现去重。

此处以MySQL数据库为例：

  1. 我们依照上一篇的items创建表结构： 
    /*
SQLyog Ultimate v10.42 
MySQL - 5.7.20-0ubuntu0.16.04.1 : Database - movie-website1
*********************************************************************
*/


/*!40101 SET NAMES utf8 */;

/*!40101 SET SQL_MODE=''*/;

/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;
/*Table structure for table `spider_h6080` */

CREATE TABLE `spider_h6080` (
  `name` VARCHAR(1000) DEFAULT NULL,
  `url` VARCHAR(1000) DEFAULT NULL,
  `num` VARCHAR(1000) DEFAULT NULL,
  FULLTEXT KEY `spiderh6080index` (`name`,`url`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

/*Table structure for table `spider_h6080_movieinfo` */

CREATE TABLE `spider_h6080_movieinfo` (
  `id` INT(11) NOT NULL AUTO_INCREMENT,
  `moviename` VARCHAR(100) DEFAULT NULL,
  `prefilename` VARCHAR(50) DEFAULT NULL,
  `suffixname` VARCHAR(20) DEFAULT NULL,
  `createtime` DATETIME(6) DEFAULT NULL,
  `updatetime` DATETIME(6) DEFAULT NULL,
  `publishtime` VARCHAR(100) DEFAULT NULL,
  `types` VARCHAR(200) DEFAULT NULL,
  `area` VARCHAR(200) DEFAULT NULL,
  `language` VARCHAR(200) DEFAULT NULL,
  `actor` VARCHAR(200) DEFAULT NULL,
  `director` VARCHAR(200) DEFAULT NULL,
  `keyword` VARCHAR(200) DEFAULT NULL,
  `weight` INT(11) DEFAULT NULL,
  `countnumber` INT(11) DEFAULT NULL,
  `avaliblesum` INT(11) DEFAULT NULL,
  `introduce` VARCHAR(2000) DEFAULT NULL,
  `clickcount` INT(11) DEFAULT NULL,
  `playcount` INT(11) DEFAULT NULL,
  `duration` VARCHAR(100) DEFAULT NULL,
  `isoutsource` VARCHAR(2) DEFAULT NULL,
  `picurl` VARCHAR(500) DEFAULT NULL,
  `classify_id` INT(11) DEFAULT NULL,
  PRIMARY KEY (`id`),
  FULLTEXT KEY `moviename` (`moviename`)
) ENGINE=INNODB AUTO_INCREMENT=13748 DEFAULT CHARSET=utf8;

/*!40101 SET SQL_MODE=@OLD_SQL_MODE */;
/*!40014 SET FOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS */;
/*!40014 SET UNIQUE_CHECKS=@OLD_UNIQUE_CHECKS */;
/*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;
     
  2. 安装MySQL-python，用于连接我们的MySQL数据库：

     ubuntu安装步骤如下：

    sudo apt-get install libmysqlclient-dev libmysqld-dev python-dev python-setuptools
pip install MySQL-python
     

     windows，下载附件中的MySQL-python-1.2.5.win-amd64-py2.7.exe，双击安装。

     

     验证，在python交互界面输入import MySQLdb，若无报错，说明成功：

    C:\Users\du>python
Python 2.7.10 (default, May 23 2015, 09:44:00) [MSC v.1500 64 bit (AMD64)] on wi
n32
Type "help", "copyright", "credits" or "license" for more information.
>>> import MySQLdb
>>>

     

  3. 安装pybloom，用于去重。 
    pip install pybloom
     说明：pybloom，布隆过滤器（Bloom Filter）是由布隆（Burton Howard Bloom）在1970年提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器可以用于检索一个元素是否在一个集合中。

     我们去重通常有三种方法：
    1、将过滤字段存于一个list中，针对每个抓取到的item，检测过滤字段是否在list中，若存在则drop。否则入库。但此方法随着list的不断增大，程序占用内存越来越大，造成性能下降，甚至触发系统的OOMKiller，中断进程。

    ids_seen=[]
if item['url'] in self.ids_seen:
      raise DropItem("Exist Exception! Duplicate item found: %s" % item['name'])
else:
      sql = ("INSERT INTO spider_h6080 (NAME,url,num) VALUES ('%s', '%s', '%s')" % (item['name'], item['url'], item['num']))
      try:
            self.cur.execute(sql)
            self.conn.commit()
            self.append(item['url'])
      except Exception as err:
            raise DropItem("DB Exception! Duplicate item found: %s" % err)
            return item

     2、在数据库中添加主键，利用数据库返回错误，但数据库大量报错可能导致程序崩溃。

    sql = ("INSERT INTO spider_h6080 (NAME,url,num) VALUES ('%s', '%s', '%s')" % (item['name'], item['url'], item['num']))
try:
	self.cur.execute(sql)
	self.conn.commit()
except Exception as err:
	raise DropItem("%s" % err)
return item

     3、使用布隆过滤器，布隆过滤器的特点是利用准确率换取内存空间和效率，虽然程序的内存也会不断增大，但是比起list要好的太多，内存增幅极小。

    from pybloom import BloomFilter

ids_seen = BloomFilter(capacity=5000000, error_rate=0.001)

if item['url'] in self.ids_seen:
	raise DropItem("Exist Exception! Duplicate item found: %s" % item['name'])
else:
	sql = ("INSERT INTO spider_h6080 (NAME,url,num) VALUES ('%s', '%s', '%s')" % (item['name'], item['url'], item['num']))
	try:
		self.cur.execute(sql)
		self.conn.commit()
		self.ids_seen.add(item['url'])
	except Exception as err:
		raise DropItem("DB Exception! Duplicate item found: %s" % err)
	return item

     

  4. pipeline.py的代码如下： 
    # -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
from scrapy.exceptions import DropItem
from spider.items import H6080Item, H6080MovieInfo
import MySQLdb
from pybloom import BloomFilter


class Spider1Pipeline(object):
    def __init__(self):
        #self.ids_seen = []
        self.ids_seen = BloomFilter(capacity=5000000, error_rate=0.001)
        #self.movienames_seen = []
        self.movienames_seen = BloomFilter(capacity=5000000, error_rate=0.001)
        self.conn = MySQLdb.connect(host='127.0.0.1', port=3306, user='root', passwd='ROOT', db='movie-website1', charset='utf8')
        self.cur = self.conn.cursor()
        self.cur.execute('SELECT url FROM spider_h6080')
        result = self.cur.fetchall()
        for row in result:
            self.ids_seen.add(row[0])
        self.cur.execute('SELECT picurl FROM spider_h6080_movieinfo')
        result = self.cur.fetchall()
        for row in result:
            self.movienames_seen.add(row[0])

    def process_item(self, item, spider):
        print "Deep of ids_seen: %s" % self.ids_seen.count
        print "Deep of movienames_seen: %s" % self.movienames_seen.count
        if isinstance(item, H6080Item):
            if item['url'] in self.ids_seen:
                raise DropItem("Exist Exception! Duplicate item found: %s" % item['name'])
            else:
                sql = ("INSERT INTO spider_h6080 (NAME,url,num) VALUES ('%s', '%s', '%s')" % (item['name'], item['url'], item['num']))
                try:
                    self.cur.execute(sql)
                    self.conn.commit()
                    self.ids_seen.add(item['url'])
                except Exception as err:
                    raise DropItem("DB Exception! Duplicate item found: %s" % err)
                return item
        elif isinstance(item, H6080MovieInfo):
            if item['picurl'] in self.movienames_seen:
                raise DropItem("Exist Exception! Duplicate item found: %s" % item['name'])
            sql = "INSERT INTO spider_h6080_movieinfo (moviename,actor,TYPES,AREA,publishtime,countnumber,introduce,director,picurl) VALUES ('%s', '%s', '%s', '%s','%s', '%s', '%s', '%s', '%s')" % (item['name'], item['actor'], item['types'], item['area'], item['publishtime'], item['countnumber'], item['introduce'], item['director'], item['picurl'])
            try:
                self.cur.execute(sql)
                self.conn.commit()
                self.movienames_seen.add(item['picurl'])
            except Exception as err:
                raise DropItem("DB Exception! Duplicate item found: %s" % err)
            return item
     此处两个item分别以picurl和url作为去重过滤字段，声明两个bloomfilter用与过滤这两个字段。BloomFilter(capacity=5000000, error_rate=0.001)，capacity为过滤器可存储的最大数据量，error_rate为可容忍的最大错误率

到此，爬虫已经实现的数据入库和去重功能，我们可以用它来爬取视频了。

 

最后再次附上项目地址：https://gitee.com/dushen666/spider.git

 

 

小木头--
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
十款经典游戏的Java版本（开源）
12-07 19万+
开源Java小游戏 前言 看到标题可能有人要笑我，用Java写游戏?没办法，毕竟无论学什么语言我们都希望它能做出好玩有趣的应用。对于初学者来说，能做出个小游戏玩玩也是很大的学习动力嘛。下面就给大家介绍十几个开源的Java小游戏，供大家学习交流。下载链接都是我上传的资源，不收取任何资源分，毕竟开源才是我们的宗旨。如果链接坏了给我留言，我会尽快补上新的链接。这些程序都在我的机子上运行过，不要问我为
150讲轻松学习Python网络爬虫
05-16
【为什么学爬虫？】        1、爬虫入手容易，但是深入较难，如何写出高效率的爬虫，如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中，经常容易遇到被反爬虫，比如字体反爬、IP识别、验证码等，如何层层攻克难点拿到想要的数据，这门课程，你都能学到！        2、如果是作为一个其他行业的开发者，比如app开发，web开发，学习爬虫能让你加强对技术的认知，能够开发出更加安全的软件和网站 【课程设计】 一个完整的爬虫程序，无论大小，总体来说可以分成三个步骤，分别是：网络请求：模拟浏览器的行为从网上抓取数据。数据解析：将请求下来的数据进行过滤，提取我们想要的数据。数据存储：将提取到的数据存储到硬盘或者内存中。比如用mysql数据库或者redis等。那么本课程也是按照这几个步骤循序渐进的进行讲解，带领学生完整的掌握每个步骤的技术。另外，因为爬虫的多样性，在爬取的过程中可能会发生被反爬、效率低下等。因此我们又增加了两个章节用来提高爬虫程序的灵活性，分别是：爬虫进阶：包括IP代理，多线程爬虫，图形验证码识别、JS加密解密、动态网页爬虫、字体反爬识别等。Scrapy和分布式爬虫：Scrapy框架、Scrapy-redis组件、分布式爬虫等。通过爬虫进阶的知识点我们能应付大量的反爬网站，而Scrapy框架作为一个专业的爬虫框架，使用他可以快速提高我们编写爬虫程序的效率和速度。另外如果一台机器不能满足你的需求，我们可以用分布式爬虫让多台机器帮助你快速爬取数据。 从基础爬虫到商业化应用爬虫，本套课程满足您的所有需求！【课程服务】 专属付费社群+定期答疑
150行代码写爬虫(一)
小木头的专栏
04-02 1301
目的：爬取某视频网站的所有视频； 工具：scrapy、MySQL、python 2.7； 项目地址：https://gitee.com/dushen666/spider.git； scrapy是一个python的爬虫框架，有兴趣的同学可以了解一下，本篇我将介绍如何用scrapy从零开始编写一个爬虫； 步骤↓ 安装python 2.7，并配置好环境变量 ，此处不多说。 安装scra...
python简单爬虫代码，python入门
tangdou5682的博客
09-20 3万+
python简单爬虫代码 python入门
150行超迷你爬虫tinycrawler实现-Ali0th
weixin_34127717的博客
05-15 155
Author: Ali0th Email: martin2877@foxmail.com Date: 20181104 前言 众所周知信息收集是渗透测试最先且最重要一步，而且不仅渗透，平时做的很多事情都需要用到爬虫。所以我也自己经常写爬虫脚本。这一个是去年底时写的超迷你爬虫，一方面是有需要，一方面是写着玩，于是把代码使用各种装逼型写法缩到行数最少。之后也在不断地使用中优化，目前应该不会有太大的改动...
爬虫代码爬虫代码爬虫代码爬虫代码
02-23
适合新手使用的爬虫代码，只需要输入自己想搜索的图片名称即可
五行代码实现爬虫，然后解析
01-25
五行代码实现爬虫，然后解析
java写爬虫代码
12-16
以下将详细解析这个Java爬虫代码的关键知识点： 1. **URL类**： `URL verifiedUrl = null;` 用于存储验证后的URL，`URL`类提供了访问和操作URL的各种方法，如`new URL(url)`用于创建URL对象，`getHost()`用于获取...
DrissionPage-爬虫python代码
06-12
用 requests 做数据采集面对要登录的网站时，要分析数据包、JS 源码，构造复杂的请求，往往...本代码仅作学习交流，切勿用于商业用途，否则后果自负。若涉及侵权，请联系，会尽快处理! 未进行详尽测试，请自行调试!
不用写代码的爬虫课-附件资源
03-05
不用写代码的爬虫课-附件资源
python代码示例100行-python之代码积累 100行
weixin_37988176的博客
10-29 864
s1=""print(bool(s1)) #Falses1=" "print(bool(s1)) #Truename=input(">>>")if name:print("666")else:print("333")print(str(True),str(False)) #True Falsepri...
python小游戏150行代码_150行python代码实现贪吃蛇游戏
weixin_39940714的博客
12-09 231
上篇博文我们实现了两百行代码实现贪吃蛇游戏，这次我们来实现一个代码量更加少，功能却更加完整的G8V免费资源网python代码实现贪吃蛇游戏，具体代码与文件可以访问我的GitHub地址获取G8V免费资源网游戏截图G8V免费资源网G8V免费资源网动图G8V免费资源网G8V免费资源网贪吃蛇python代码G8V免费资源网"""贪吃蛇"""import randomimport sysimport tim...
入门python，看完这个300行代码的例子，足矣~
热门推荐
the_sangzi_home的博客
04-28 8万+
你还在为python苦恼么？一个例子全搞定！ 一个300行的代码，竟然包含了138个知识点。列表，元组，字典，集合，字符串，也有他们的基本操作，有面向对象的类，循环语句，选择语句，函数的创建，包的导入，文件的读取，切片，表达式推导。 还等什么，托马斯小火车开车了~
Python大佬实战五：50行代码编写记忆，数对益智游戏
06-08 1654
前言 freegames是Apache2许可的免费Python游戏集合，旨在用于教育和娱乐。游戏是用简单的Python代码编写的，专为实验和更改而设计。包括几个经典街机游戏的简化版本。 今天为大家介绍一个记忆，数对益智游戏的简单游戏,游戏的规则很简单,击图方块以显示数字。匹配两个相同的数字，方块便会消失以显示图像,考验你一定的记忆能力,赶紧试试吧 导入第三方库 生成GIF 大家在...
【Python代码小工具】鸢尾花案例-鸢尾花数据集
qq_45098842的博客
04-08 1033
Python代码小工具-鸢尾花数据集 *问题描述： 在初学者学习机器学习，深度学习以及神经网络的时候都会绕不开一个案例——鸢尾花分类。 但是很多人在网上找这个案例的数据集的时候，是不是很烦，我当时也很烦，但是我今天在看一些代码的时候发现其实在 Sklearn 这个库中就有，其他的我不知道，我知道了再贴上来。 #仅仅数据集，没有其他模型代码 from sklearn import datasets ...
python实现网络爬虫代码_精通python网络爬虫之自动爬取网页的爬虫 代码记录
weixin_32688511的博客
01-13 224
1 # - * -编码:utf - 8 - * -23 # Scrapy设置autopjt project4 # 5 #为简单起见,这个文件只包含设置考虑重要or6 #常用。您可以找到更多的设置咨询文档:7 # 89101112 BOT_NAME = autopjt 1314 SPIDER_MODULES = [] 15 NEWSPIDER_MODULE = \4142 #覆盖默认的请求头:43 ...
Python应用爬虫下载QQ音乐歌曲！
Python_trys的博客
07-12 1996
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970。
urllib的使用
最新发布
qq_39217312的博客
07-14 770
urllib时python的一个内置库，一共包含四个模块。
爬虫学习日记
wuhu_czy的博客
07-12 743
爬虫python code
用python代码写爬虫
05-14
好的，以下是一个简单的 Python 爬虫代码，可以爬取指定网站的标题和链接信息： ```python import requests from bs4 import BeautifulSoup url = 'https://www.example.com' # 指定要爬取的网站 response = requests.get(url) # 发送请求 soup = BeautifulSoup(response.text, 'html.parser') # 解析 HTML 页面 titles = [] # 存储标题 links = [] # 存储链接 for title in soup.find_all('a'): # 找到所有的链接标签 titles.append(title.text) # 把标题存储到 titles 列表中 links.append(title.get('href')) # 把链接存储到 links 列表中 for i in range(len(titles)): # 打印所有的标题和链接 print(titles[i], links[i]) ``` 以上代码中，我们使用了 `requests` 库向指定网站发送请求，然后使用 `BeautifulSoup` 库解析 HTML 页面，并找到所有的链接标签，把标题和链接分别存储到 `titles` 和 `links` 两个列表中，最后打印出来。你可以根据自己的需求来修改代码，以适应不同的网站。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值