python爬取返利网

最新推荐文章于 2020-09-09 23:27:42 发布
最新推荐文章于 2020-09-09 23:27:42 发布
阅读量1.1k 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TT_258/article/details/50300643
版权

最近一段时间试着爬取了返利网的【今日值得买网页】http://zhide.fanli.com/p1?spm=global.pc.buid-todayworth

在这想要爬取商品名称、分类、推荐人、商品简介、好评数、差评数

1、找到源代码：

首先返利网的网页是动态的，一个网页共有50个商品，平均每次加载5个，前五个可以直接在该网页查看源代码，后面的就得自己找了，因为之前有爬过网易，所以以为它网页与网易一样是json加载，然而当用一样的方法找时并没有找到，无奈只好把每个类型都试一下，最后发现了是XHR类型的，如下：


打开之后并不是代码，而是：


要查看源代码：


2、网址规律：

因为要多页爬取，所以要先观察网址规律：

#其中pageIndex1为页数，pageIndex2为以每5个为一组的组数
url2='http://zhide.fanli.com/index/ajaxGetItem?cat_id=0&tag=&page='+str(pageIndex1)+'-'+str(pageIndex2)+'&area=0&tag_id=0&shop_id=0'

因为有两个不定数，所以要进行两个for循环。

3、筛选数据：

想了三种方法，但都有缺陷，希望各位能给一些建议：

（1）用正则表达式

        reg1=r'<a class="J-item-track nodelog(.*?)>(.*?)<span class="red t-sub">(.*?)'\
             r'<div class="item-type">(.*?)<a href="(.*?)/cat-(.*?)" class="nine" target="_blank">(.*?)</a></div>' \
             r'<div class="item-user">(.*?)</div>(.*?)'\
             # r'<a href="javascript:void(0);" class="l item-vote-yes J-item-vote-yes" data-type="yes">(.*?)</a>' \
             # r'<a href="javascript:void(0);" class="l item-vote-no J-item-vote-no" data-type="no">(.*?)</a>'
        fd=open('flw(1).txt','a+')
        fd.write('商品名称'+'|'+'分类'+'|'+'推荐人'+'\n')
        data=re.findall(re.compile(reg1),html)
        for item in data:
        fd.write(item[1]+'|'+item[6]+'|'+item[7]+'\n')#+'|'+'|'+item[8]+'|'+item[9]

这个缺陷在于好评数和差评数获取不到

（2）用BeautifulSoup直接筛选出商品信息，然后将不需要的信息删除。

        html=re.sub('<span class="red t-sub">(.*?)</span>','',html)
        html=re.sub('<div class="item-img">(.*?)</div>','',html)
        html=re.sub("<i class='lowest-network'>全网最低</i>","",html)
        html=re.sub('<div class="item-time">(.*?)</div>','',html)
        html=re.sub('<div class="item-type">分类：<a href=(.*?)target="_blank">','',html)
        html=re.sub('<div class="item-label">标签：','',html)
        html=re.sub('<a href="/shop/(.*?)" target="_blank">(.*?)</a>','',html)
        html=re.sub('<a href="javascript:(.*?)展开全文 ∨</a>','',html)
        soup=BeautifulSoup(html)
        data=soup.find_all('div',class_='zdm-list-item J-item-wrap item-no-expired')
        for item in data:
            fd.write(item.get_text('|',strip=True).encode('utf-8')+'\n')
这个只能的得到商品名称，分类，推荐人，评论

貌似是在我去掉后四个信息时，好评和差评等信息也被莫名的去掉了。
（3）用BeautifulSoup的按类名搜索

        soup=BeautifulSoup(html)
        mc=soup.find_all('a',class_='J-item-track nodelog')
        fl=soup.find_all('div', class_="item-type")
        tjr=soup.find_all('div',class_='item-user')
        pl=soup.find_all('div', class_='item-content-inner J-item-content-inner')
        yes=soup.find_all('a',class_='l item-vote-yes J-item-vote-yes')
        no=soup.find_all('a',class_='l item-vote-no J-item-vote-no')
        for i in range(0,5):
            print mc[i].get_text(strip=True).encode('utf-8')+'|'+\
                  fl[i].get_text(strip=True).encode('utf-8')+'|'+\
                  tjr[i].get_text(strip=True).encode('utf-8')+'|'+\
                  pl[i].get_text(strip=True).encode('utf-8')+'|'+\
                  yes[i].get_text(strip=True).encode('utf-8')+'|'+\
                  no[i].get_text(strip=True).encode('utf-8')
这个可以把商品名称，分类，推荐人，评论，好评数，差评数  都爬下来，但它会出错啊


错误为IndexError: list index out of range，列表索引超出范围，但我想表示宝宝没有啊！！

好吧，说我超出范围，我改为

for  i  in  range（0,3）

这下虽然能够保证不出错，但爬下来的明显数量不够，因为每次该是5个，所以我才弄成（0,5），改为（0,3）肯定会少的，无语。。

所以，以上三个都有bug，希望能得到高人指点。

其实还可以根据自己的需求修改，获取自己想要的信息

4、代码如下：

#coding=utf-8
import urllib2
import re
import time
from bs4 import BeautifulSoup
class FLW():
    def __init__(self):
        self.user_agent= 'Mozilla/4.0(compatible;MSIE 5.5;Windows NT)'
        self.headers = {'User_Agent' :self.user_agent}
    def getUrl(self,pageIndex1,pageIndex2):
        url='http://zhide.fanli.com/index/ajaxGetItem?cat_id=0&tag=&page='+str(pageIndex1)+'-'+str(pageIndex2)+'&area=0&tag_id=0&shop_id=0'
        return url
    def getHtml(self,url):
        try:
            request=urllib2.Request(url,headers=self.headers)
            response=urllib2.urlopen(request)
            html=response.read()
            return html
        except urllib2.URLError,e:
            if hasattr(e,'reason'):
                print u'链接失败',e.reason
                return None
=======================================================================================================================
#方法一：
    def getPage(self):
        reg1=r'<a class="J-item-track nodelog(.*?)>(.*?)<span class="red t-sub">(.*?)'\
             r'<div class="item-type">(.*?)<a href="(.*?)/cat-(.*?)" class="nine" target="_blank">(.*?)</a></div>' \
             r'<div class="item-user">(.*?)</div>(.*?)'\
             # r'<a href="javascript:void(0);" class="l item-vote-yes J-item-vote-yes" data-type="yes">(.*?)</a>' \
             # r'<a href="javascript:void(0);" class="l item-vote-no J-item-vote-no" data-type="no">(.*?)</a>'
             
        for x in range(1,51):#循环页数
            for y in range(2,11):#循环每组
                fd=open('flw(1).txt','a+')
                fd.write('商品名称'+'|'+'分类'+'|'+'推荐人'+'\n')
                url=self.getUrl(x,y)
                html=self.getHtml(url)
                html=re.sub(' ','',html)
                data=re.findall(re.compile(reg1),html)
                for item in data:
                    fd.write(item[1]+'|'+item[6]+'|'+item[7]+'\n')#+'|'+item[8]+'|'+item[9]
                fd.close()
            time.sleep(1)
=======================================================================================================================
#方法二：
    def pageSX(self,html):
        html=re.sub('<span class="red t-sub">(.*?)</span>','',html)    #去掉商品名称里的多余信息
        html=re.sub('<div class="item-img">(.*?)</div>','',html)   #去掉“返利多少”的信息
        html=re.sub("<i class='lowest-network'>全网最低</i>","",html)   #去掉“全网最低”
        html=re.sub('<div class="item-time">(.*?)</div>','',html)  #去掉时间信息
        html=re.sub('<div class="item-type">分类：<a href=(.*?)target="_blank">','',html)
        html=re.sub('<div class="item-label">标签：','',html)
        html=re.sub('<a href="/shop/(.*?)" target="_blank">(.*?)</a>','',html)
        html=re.sub('<a href="javascript:(.*?)展开全文 ∨</a>','',html)
        soup=BeautifulSoup(html)
        data=soup.find_all('div',class_='zdm-list-item J-item-wrap item-no-expired')#直接获取商品所有信息
        return data
        
    def getPage(self):
        for x in range(1,51):
            for y in range(2,11):
                fd=open('flw(2).txt','a+')
                fd.write('商品名称'+'|'+'分类'+'|'+'推荐人'+'|'+'评论'+'\n')
                url=self.getUrl(x,y)
                html=self.getHtml(url)
                data=self.pageSX(html)
                for item in data:
                    fd.write(item.get_text('|',strip=True).encode('utf-8')+'\n')
                fd.close()
            time.sleep(1)
=======================================================================================================================
方法三：
    def pageSX(self,html):
        html=re.sub('<div class="item-label">标签：(.*?)</a></div>','',html)
        html=re.sub('<span class="red t-sub">(.*?)</span>','',html)
        soup=BeautifulSoup(html)
        mc=soup.find_all('a',class_='J-item-track nodelog')  #获取商品名称
        fl=soup.find_all('div', class_="item-type")  #获取分类
        tjr=soup.find_all('div',class_='item-user')   #获取推荐人
        pl=soup.find_all('div', class_='item-content-inner J-item-content-inner')  #获取商品简介
        yes=soup.find_all('a',class_='l item-vote-yes J-item-vote-yes')  #获取好评数
        no=soup.find_all('a',class_='l item-vote-no J-item-vote-no')   #获取差评数
        fd=open('flw(3).txt','a+')
        for i in range(0,3):
            fd.write(mc[i].get_text(strip=True).encode('utf-8')+'|'+\
                     fl[i].get_text(strip=True).encode('utf-8')+'|'+\
                     tjr[i].get_text(strip=True).encode('utf-8')+'|'+\
                     pl[i].get_text(strip=True).encode('utf-8')+'|'+\
                     yes[i].get_text(strip=True).encode('utf-8')+'|'+\
                     no[i].get_text(strip=True).encode('utf-8'))
            fd.close()
    def getPage(self):
        for x in range(1,51):
            for y in range(2,11):
                url=self.getUrl(x,y)
                html=self.getHtml(url)
                self.pageSX(html)
            time.sleep(1)
=======================================================================================================================
spider=FLW()
SJ=spider.getPage()
以上

PS：想说并不怎么理想，希望以后可以将遇到的问题解决，再来完善！

已经做了修改，具体修改请看下一篇点击打开链接


小刀砸儿
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬虫基础教程：利用python抓取返利网商品信息
Python新手学习之家
08-02 737
<python爬虫基础教程：利用python抓取返利网商品信息　返回商品详情> python抓取返利网商品代码 ''' 在学习过程中有什么不懂得可以加我的 python学习交流扣扣qun，934109170 群里有不错的学习教程、开发工具与电子书籍。 与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容。 ''' #coding=utf-...
淘客返利机器人
08-04
返利机器人模式相对于其他淘客模式，玩法更加简单，并且能做到用户自然裂变、粘性强，变现快！没有基础，没有经验，没有时间，也不想学习那就用这个机器人挣钱吧，你只要明白一点别人通过你机器人买东西可以省钱，可以拿返利这样你就可以挣钱，不需要懂太多。
python爬取返利网（完善）
一只小菜鸟在学飞︿(￣︶￣)︿
12-17 992
哈哈，要做勤劳的小蜜蜂~ 上一篇返利网并没有爬好 http://blog.csdn.net/tt_258/article/details/50300643 在高人的指点下，我又回来了，下面是改后的代码： #coding=utf-8 import urllib2 from bs4 import BeautifulSoup import time class FLW(): def __i
Python爬取返利网（今日值得买）数据
夜斗不是神
12-09 2870
双十一还没消停，双十二又来了。看返利网的数据时时不断的在更新。。。。。。 1.爬取返利网的商品名，分类，推荐人，好评数和差评数 2.商品信息不断更新，查看页面源代码仅可以看见一开始显示的几个商品的代码。 页面加载规律是往下拉页面，便加载5个商品，一页有50个商品。 所以，还是打开谷歌浏览器，按F12，向下拉页面，使数据完全加载完毕。 一开始并不知道数据存在哪，便一个一个点开看，查找数
基于Python的微信自动回复机器人
07-19
python语言写的itchat微信后台聊天机器人代码，含文档。微信扫码登录后，好友回复TEXT文本 关键词自动回复对应内容，支持订阅和退订，可以查天气、查快递，好友发送图片、视频、语音等自动存储在本机，好友发送位置信息自动返回位置信息。注：这个机器人没有调用其他机器人如图灵机器人，所以不会侃侃而谈，只能回复关键字回复对应内容，除此之外功能齐全，可以用作小课程设计。
python爬取微博关键词搜索博文
03-17
python爬取微博关键词搜索博文，只需要修改cookie和url参数
python爬取淘宝商品价格
最新发布
07-26
Python爬取淘宝商品价格的功能描述如下： 用户输入要查询的淘宝商品名称或关键字。 使用Python的requests库向淘宝网发送GET请求，带上用户输入的关键字作为参数，获取搜索结果页面的HTML内容。 使用BeautifulSoup库...
python爬取携程网评论.zip
11-10
总结起来，"python爬取携程网评论.zip"项目涵盖了Python网络爬虫的基本流程：发送HTTP请求获取网页，解析HTML提取所需信息，处理分页，数据清洗与存储。这个过程既锻炼了Python编程技能，也提升了数据分析的能力，是...
返利网对B2C网站接口示例代码
01-21
返利网对B2C网站接口示例代码 返利网 接口 php 示例
python爬取微博视频
03-20
可以自行输入想要爬取的博主的用户名，下载主页的视频，可以自行输入想要爬取的博主的用户名，下载主页的视频
Python爬虫技术4：解析内容（补充知识：BeautifulSoup、正则表达式）
qq_43819274的博客
09-09 822
Python爬虫技术4：解析内容 一、补充BeautifulSoup的知识 首先准备一个html文件：baidu.html 对这个html进行解析 以下代码在后面贴出的代码中一直都要存在 from bs4 import BeautifulSoup file =open("baidu.html","rb") html=file.read() bs=BeautifulSoup(html,"html.parser") #解析html文档形成树形结构 1.Tag #1.Tag 标签及其内容：拿到第一个标签
利用python爬取什么值得买上面的爆料信息
在努力工作的...
08-07 4189
1、目的：主要到什么值得买网站上采集由用户爆料的信息并做分析。 2、环境：python 3.4.4  所需module  request、BeautifulSoup、mysql.connector等详情看代码。 数据库：mysql 3、根据分析什么值得买上展现的商品信息，得知当向后台发送http://www.smzdm.com/jingxuan/json_more?timesort=150
python实现爬取千万淘宝商品的方法
smilemilk的博客
06-13 7711
本文实例讲述了python实现爬取千万淘宝商品的方法。分享给大家供大家参考。具体实现方法如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36
EBS技术开发之返利开发
weixin_30247307的博客
12-04 166
返利是指公司间应收款项按一定比率的返还给客户。返利开发实质就是实现对应收发票的更改和新增（暂时我的理解） 一.对发票行更改 PACKAGE AP_INVOICE_LINES_ALL_PRIVATE IS PROCEDURE INSERT_ROW (X_LINE_NUM OUT NUMBER,P_FLAG VARCHAR2,P_AMOUNT NUMBER); PROCEDURE ...
使用 Python 全栈打造淘宝客微信机器人
GitChat
07-03 3078
淘宝客，作为互联网经久不衰的网赚渠道，发展多年依然深受追捧；微信，作为国民第一社交软件，其中蕴藏的商机犹如一口不尽的泉眼；Python，作为近年来不断火热的编程语言，在爬虫、Web 开发、人工智能等各个领域都能够插上一脚的特性，使得其成为越来越多的人学习编程的首选语言，成为越来越多公司快速开发产品的首选语言；将这三者结合在一起，会发生什么有趣好玩的事情呢？ 本篇 Chat 将会介绍使用 Pytho...
python网络爬虫--爬取淘宝联盟
热门推荐
阎松的博客
07-17 1万+
互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前。 网络爬虫，也叫网络蜘蛛(Web Spider)，如果把互联网比喻成一个蜘蛛网，Spider就是一只在网上爬来爬去的蜘蛛。网络爬虫就是根据网页的地址来寻找网页的，也就是全球统一资源定位符URL，用来定义互联网上一个唯一的资源 ...
pythonpython爬取网站资源
05-31
要使用 Python 爬取网站资源，可以使用 Python 中的 requests 库和 BeautifulSoup 库。 首先，使用 requests 库发送 HTTP 请求，获取网页的 HTML 内容。例如： ```python import requests url = 'http://example.com' response = requests.get(url) html_content = response.content ``` 然后，使用 BeautifulSoup 库解析 HTML 内容，提取需要的信息。例如： ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'html.parser') title = soup.title.string links = soup.find_all('a') ``` 其中，`title` 变量保存网页标题，`links` 变量保存所有链接元素。 如果需要爬取的是图片或其他二进制文件，可以使用 requests 库的 `content` 属性获取二进制内容。例如： ```python url = 'http://example.com/image.jpg' response = requests.get(url) image_content = response.content ``` 然后，将 `image_content` 写入本地文件即可。 需要注意的是，爬取网站资源需要遵守相关法律法规和网站的规定，不要进行非法爬虫行为。同时，爬虫程序也需要注意代码质量和效率，不要给目标网站带来过大的负担。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值