![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬
文章平均质量分 77
jiguangdaru
这个作者很懒,什么都没留下…
展开
-
基于Scrapy架构的网络爬虫入坑第一战——爬取数据而后存入json文件
谈到爬虫,必出利器Scrapy。如果说之前的爬虫借助于个人知识的野蛮生长,那么Scrapy的诞生无疑降低了万众爬虫的门槛。 什么是Scrapy?一言以蔽之:它是一个基于Python语言开发的网络数据抓取的框架,任何人都可以根据需求方便的修改。Scrapy由下面几个部分组成 (上图来源于网络,侵删) spiders:爬虫的主模块,主要内容包括网页的解析和内容的结构化 items:定义我们...原创 2018-10-06 21:20:06 · 1491 阅读 · 0 评论 -
基于Scrapy架构的网络爬虫入坑第二战(数据存入MySQL)
第一战中,利用Scrapy架构爬取了58租房信息,存入到json文件中。json文件虽然好用,但是结构化和后续处理方面还存在一定的缺陷。为此,决定使用结构化数据库MySQL。 第二战的主要内容是:首先利用Scrapy架构爬取某个小说网站上的小说信息,而后使用MySQLdb将结构化数据存入MySQL,最后利用Navicat Premium访问存储的数据。 惊世三问!!! 问:MySQL是什么?...原创 2018-10-07 23:26:45 · 242 阅读 · 0 评论 -
基于Scrapy架构的网络爬虫入坑第三战(爬取某网站**头像到本地)
一、前言 在Internet surfing的时候,经常会有这样的感叹:有些图片能自动保存到本地多好!省去右键另存为的麻烦,而且可以批量操作。 比如这样: 比如这样: 二、方法 首先观察网站涉及头像的源码,发现头像的网络地址在class = 'pic'的style中,截图如下: 而后想到借助最近一直摸索的Scrapy架构,写一个爬虫程序:先定位到用户主页,利用urllib....原创 2018-10-08 20:51:15 · 206 阅读 · 0 评论 -
大数据揭秘: 原来单身女生有这些特点...
据媒体报道,中国目前的单身成年女性的数量已经超过一个多亿,也就是说14.3%的成年女性处于单身状态,与日本全国人口总数基本相当。 知己知彼,百战不殆。如果你是一个单身女性,你可以看到自己的某些影子;如果是单身男生,你需要了解目标人群的特点;如果是已婚男士,要相信“天下凤凰一般美!!!” 开始本文之前有几点说明: 1、本文数据主要来自于某婚恋网站的爬虫搜索数据; 2、该网站上的女生默认为单身...原创 2018-10-09 22:46:06 · 289 阅读 · 0 评论