![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实战篇
冻梨不是梨
公众号:壹家大数据
展开
-
python 爬取电影天堂电影
主要介绍爬取电影天堂首页的电影列表,并将结果保存为csv文件.1.首先导入需要的模块import requestsfrom bs4 import BeautifulSoupimport csv2.获取网页,并解析结果def html_parser(url_start): #获取html try: headers={'User-Agent':'...原创 2018-06-11 21:20:44 · 6079 阅读 · 2 评论 -
python 《我不是药神》豆瓣影评爬取
python 版本3.6 爬取豆瓣上的《我不是药神》的评论,代码直接粘贴在下面了,注意把其中的headers,替换成自己的。具体的方法是打开豆瓣官网,然后 右键 审查元素,点击network,刷新,找到第一个链接就能点击, 然后右侧就能出现了,之后下来会看到requests headers,那里就是,如下图所示:之后将那里面的东西复制出来,粘贴到代码里的headers出就可以了。有写的...原创 2018-08-19 09:57:25 · 2256 阅读 · 4 评论 -
python 多线程文件操作
使用python 将在csv文件中的一百万条网址,写入mongo数据库中,这里使用多线程进行操作。直接贴上代码,如下:import osimport threading #导入进程import csvimport timefrom Mongo_cache import MongoCache import win32com.clientimport winsound...原创 2018-08-02 16:20:34 · 4159 阅读 · 0 评论 -
python爬虫 — 爬取豆瓣最受关注图书榜
一个简单的爬取豆瓣最受关注图书榜的小爬虫,在爬取相关信息后,将结果保存在 mongo 中整个流程分为以下几步:(1)构造url(2)分析网页(3)编写程序,提取信息解析,将分别介绍以上几步一 构造url首先打开网页,可以看到下面的图片从图片中,可以看到其分为虚构类作品榜和非虚构类作品榜两个榜单,分别点击这两个榜单,可以看到其下面的变化非虚构类作品榜:虚构类作品榜:因此,根据这两个变化,可以构造相应...原创 2018-06-27 03:29:07 · 898 阅读 · 0 评论 -
python爬虫— 拉勾网职位信息爬取
在上一篇对拉勾网url分析的基础上,这一篇开始爬取拉勾网上面的职位信息。既然,现在是使用的爬虫,那么就获取拉钩网上的爬虫工程师的职位的信息。上一篇的链接:python爬虫 —爬拉勾网python爬虫职位(一)(一)动工前分析 1.需要获取的信息:(1)职位名称(2)薪资(3)要求工作时间(4)岗位所在地点2.程序功能分析根据上面的分析,可以简单地将程序分为三个部分:(1)获取url, (2)获取职...原创 2018-06-18 22:56:09 · 590 阅读 · 0 评论 -
python爬虫 —爬拉勾网python爬虫职位(一)
爬虫可以简单的分为三个部分,url分析,网页分析与信息获取,信息存储。(1)url分析在进行爬取前,首先分析拉钩网的url特点。打开拉钩网,在搜索栏界面输入 python爬虫 然后进行搜索,得到如下界面然后,右键—查看源代码,会发现在源代码页面找不到职位的信息,可以猜想,网站使用的是其他的方法来加载信息的,比如,Ajax。接下来,右键—审查元素——Network选择xhr ,然后选择 name 下...原创 2018-06-17 22:14:21 · 667 阅读 · 0 评论 -
python爬虫 — 爬取淘宝商品信息
(一)确定需要爬取的信息在爬取前首先确定需要获取的信息,打开taobao,在搜索框中输入,需要获取的商品的信息,比如ipad,点击搜索就可以看到许多的ipad,选择其中的一款商品,比如第一个可以看到,其包含了以下的信息:(1)price: 售价(2)deal-cnt: 付款人数(3)name: 产品名称(4)shop_name: 店铺名称(5)loca...原创 2018-06-24 00:55:05 · 5242 阅读 · 1 评论 -
python爬虫— 利用js2xml 获取 script 数据
处理script中数据的最新方法,请看这个主要介绍利用js2xml来获取<script>数据1. 待获取网页:url:https://s.taobao.com/search?q=%E6%89%8B%E6%9C%BA&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb...原创 2018-06-15 08:24:48 · 8687 阅读 · 6 评论 -
python 爬取电影天堂电影续编
在上一篇的基础上,添加了获取每部电影的下载链接的功能。首先分析电影一部电影的页面的html。分析的网页的url:https://www.dy2018.com/i/99618.html其中包含下载链接的标签为tbody:因此,获取下载链接的函数可以这样来写:def dlink(link): #获取下载链接 dllink_list=[] ...原创 2018-06-13 12:49:58 · 994 阅读 · 0 评论 -
抓取微信公众平台
一 概述抓取搜狗微信公众号文章 因为微信公众号网页是动态的,不能使用requests进行抓取,因此采用了selenium来进行抓取,包括了一下模块:1.url队列存储模块db.py: 采用了是redis来进行存储。为了方便调度,将url和其对应解析模块组成的列表一起存入了redis的列表中;url队列采用了先进先出的方式2.数据存储模块mongo.py: 最终抓取的数据存储到了mong...原创 2018-08-25 22:04:58 · 482 阅读 · 0 评论