天猫查询页面商品信息抓取案例

最新推荐文章于 2021-05-10 12:36:07 发布
最新推荐文章于 2021-05-10 12:36:07 发布
阅读量1.7k 收藏
点赞数
分类专栏： PHP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gjanuary/article/details/56489074
版权 
simple.html.php网络上有这个文件直接下载引用即可
-------------------------实际运行的php
<?php

header("Content-type:text/html;charset=GBK");
error_reporting(E_ALL^E_NOTICE);

require_once 'simple_html_dom.php';
$cookie_file= tempnam('./temp','cookie');
$kill = get('https://list.tmall.com/search_product.htm?spm=a220m.1000858.0.0.hFwP0u&s=60&q=%B2%A3%C4%F2%CB%E1&sort=s&style=g&from=mallfp..pc_1_searchbutton&active=2&type=pc#J_Filter'/*,false,1,false,$cookie_file*/);
$html = str_replace('data-ks-lazyload','src',$kill);
$dom = new simple_html_dom();
$dom->load($html);
$ret = $dom->getElementById("J_ItemList");
$html = $ret->innertext;
//preg_match_all("/<div class=\"product\"(.*?)>(.*?)class=\"product\"/is", $html, $matched);

$matched = preg_split('/<div class=\"product\"(.*?)>/is', $html);// 内部扒一层
$matched = array_filter($matched);
for($i=1;$i< count($matched);$i++){ 
    $matcheding = preg_split('/<div class=\"productImg-wrap\">/is', $matched[$i]);// 2次扒一层
 
    // 图片中的src
    $patternImg = "/<img.*src\s*=\s*[\"|\']?\s*([^>\"\'\s]*)/";
    preg_match($patternImg, $matcheding[1] ,$match);
    $z[$i-1]['img'] = $match[1];

 

    // 商品价格
    $patternPrize = "/title\s*=\s*[\"|\']?\s*([^>\"\'\s]*)/";
    preg_match($patternPrize, $matcheding[1] ,$matchprize);
    $z[$i-1]['prize'] = $matchprize[1];
    /*
    // 商品名字
    $patternPrize = "/.*title\s*=\s*[\"|\']?\s*([^>\"\'\s]*)/";
    preg_match($patternPrize, $matcheding[1] ,$matchprize);
    $z[$i-1]['title'] = $matchprize[1];*/

    // 天猫网点击之后进入详情页链接
  /* $patterntmallurl = "/<a.*href\s*=\s*[\"|\']?\s*([^>\"\'\s]*)/";
    preg_match($patterntmallurl, $matcheding[1] ,$matchprize);
    $z[$i-1]['tmallurl'] = $matchprize[1];*/
    // 商品的名字
    preg_match_all('/[^<>]+(?=<\/a>)/is',$matcheding[1],$descrArr);
    $z[$i-1]['title'] = $descrArr[0][2];
    $z[$i-1]['name'] = $descrArr[0][1];
    $z[$i-1]['datafromshop'] = $descrArr[0][3];  
       // 进行图片下载
    imgdown('http:'.$match[1],$z[$i-1]['name']);
 
}


function get($url,$head=false,$foll=1,$ref=false,$cookie_file =null){
    $curl = curl_init(); // 启动一个CURL会话
    if($head){
        curl_setopt($curl,CURLOPT_HTTPHEADER,$head);//模似请求头
    }    
    curl_setopt($curl, CURLOPT_URL, $url); // 要访问的地址           
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0); // 从证书中检查SSL加密算法是否存在
    curl_setopt($curl, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); // 模拟用户使用的浏览器
    @curl_setopt($curl, CURLOPT_FOLLOWLOCATION,$foll); // 使用自动跳转
    if($ref){
        curl_setopt($curl, CURLOPT_REFERER, $ref);//带来的Referer
    }else{
        curl_setopt($curl, CURLOPT_AUTOREFERER, 1); // 自动设置Referer
    }
    curl_setopt($curl, CURLOPT_HTTPGET, 1); // 发送一个常规的Post请求
  /*  curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie_file); // 存放Cookie信息的文件名称
    curl_setopt($curl, CURLOPT_COOKIEFILE,$cookie_file); // 读取上面所储存的Cookie信息*/
    curl_setopt($curl, CURLOPT_ENCODING, 'gzip,deflate');//解释gzip
    //curl_setopt($curl, CURLOPT_TIMEOUT, 30); // 设置超时限制防止死循环
    curl_setopt($curl, CURLOPT_HEADER, 0); // 显示返回的Header区域内容
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
    $tmpInfo = curl_exec($curl); // 执行操作
    curl_close($curl); // 关键CURL会话
    return $tmpInfo;

}

// 图片下载
function imgdown($url,$name){
$header = array("Connection: Keep-Alive", "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Pragma: no-cache", "Accept-Language: zh-Hans-CN,zh-Hans;q=0.8,en-US;q=0.5,en;q=0.3", "User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:29.0) Gecko/20100101 Firefox/29.0");
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, $v);
curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_ENCODING, 'gzip,deflate');

$content = curl_exec($ch);
$curlinfo = curl_getinfo($ch);
//关闭连接
curl_close($ch);

if ($curlinfo['http_code'] == 200) {
if ($curlinfo['content_type'] == 'image/jpeg') {
$exf = '.jpg';
} else if ($curlinfo['content_type'] == 'image/png') {
$exf = '.png';
} else if ($curlinfo['content_type'] == 'image/gif') {
$exf = '.gif';
}
$name = str_replace("/","",$name);
$name = strFilter($name);// 过滤名字中的特殊字符
//存放图片的路径及图片名称  *****这里注意 你的文件夹是否有创建文件的权限 chomd -R 777 mywenjian
$filename ='imgs/'.date("YmdHis"). uniqid() .$name. $exf;//这里默认是当前文件夹，可以加路径的 可以改为$filepath = '../'.$filename
$res = file_put_contents($filename, $content);//同样这里就可以改为$res = file_put_contents($filepath, $content);
}
}

function strFilter($str){
    $str = str_replace('`', '', $str);
    $str = str_replace('·', '', $str);
    $str = str_replace('~', '', $str);
    $str = str_replace('!', '', $str);
    $str = str_replace('！', '', $str);
    $str = str_replace('@', '', $str);
    $str = str_replace('#', '', $str);
    $str = str_replace('$', '', $str);
    $str = str_replace('￥', '', $str);
    $str = str_replace('%', '', $str);
    $str = str_replace('^', '', $str);
    $str = str_replace('……', '', $str);
    $str = str_replace('&', '', $str);
    $str = str_replace('*', '', $str);
    $str = str_replace('(', '', $str);
    $str = str_replace(')', '', $str);
    $str = str_replace('（', '', $str);
    $str = str_replace('）', '', $str);
    $str = str_replace('-', '', $str);
    $str = str_replace('_', '', $str);
    $str = str_replace('——', '', $str);
    $str = str_replace('+', '', $str);
    $str = str_replace('=', '', $str);
    $str = str_replace('|', '', $str);
    $str = str_replace('\\', '', $str);
    $str = str_replace('[', '', $str);
    $str = str_replace(']', '', $str);
    $str = str_replace('【', '', $str);
    $str = str_replace('】', '', $str);
    $str = str_replace('{', '', $str);
    $str = str_replace('}', '', $str);
    $str = str_replace(';', '', $str);
    $str = str_replace('；', '', $str);
    $str = str_replace(':', '', $str);
    $str = str_replace('：', '', $str);
    $str = str_replace('\'', '', $str);
    $str = str_replace('"', '', $str);
    $str = str_replace('“', '', $str);
    $str = str_replace('”', '', $str);
    $str = str_replace(',', '', $str);
    $str = str_replace('，', '', $str);
    $str = str_replace('<', '', $str);
    $str = str_replace('>', '', $str);
    $str = str_replace('《', '', $str);
    $str = str_replace('》', '', $str);
    $str = str_replace('.', '', $str);
    $str = str_replace('。', '', $str);
    $str = str_replace('/', '', $str);
    $str = str_replace('、', '', $str);
    $str = str_replace('?', '', $str);
    $str = str_replace('？', '', $str);
    return trim($str);
}






//模拟登录 
function login_post($url, $cookie, $post) { 
    $curl = curl_init();//初始化curl模块 
    curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地址 
    curl_setopt($curl, CURLOPT_HEADER, 0);//是否显示头信息 
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0);//是否自动显示返回的信息 
    curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie); //设置Cookie信息保存在指定的文件中 
    curl_setopt($curl, CURLOPT_POST, 1);//post方式提交 
    curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));//要提交的信息 
    curl_exec($curl);//执行cURL 
    curl_close($curl);//关闭cURL资源，并且释放系统资源 
} 



    function post($url,$head=false,$foll=1,$ref=false,$post){
    $curl = curl_init(); // 启动一个CURL会话
    if($head){
    curl_setopt($curl,CURLOPT_HTTPHEADER,$head);//模似请求头
    }
    curl_setopt($curl, CURLOPT_URL, $url); // 要访问的地址           
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1); // 从证书中检查SSL加密算法是否存在
    curl_setopt($curl, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); // 模拟用户使用的浏览器
    @curl_setopt($curl, CURLOPT_FOLLOWLOCATION,$foll); // 使用自动跳转
    if($ref){
    curl_setopt($curl, CURLOPT_REFERER, $ref);//带来的Referer
    }else{
    curl_setopt($curl, CURLOPT_AUTOREFERER, 1); // 自动设置Referer
    }
    curl_setopt($curl, CURLOPT_POST, 1); // 发送一个常规的Post请求
    curl_setopt($curl, CURLOPT_POSTFIELDS, $post); // Post提交的数据包
    curl_setopt($curl, CURLOPT_COOKIEJAR, $GLOBALS['cookie_file']); // 存放Cookie信息的文件名称
    curl_setopt($curl, CURLOPT_COOKIEFILE,$GLOBALS ['cookie_file']); // 读取上面所储存的Cookie信息
    curl_setopt($curl, CURLOPT_ENCODING, 'gzip,deflate');//解释gzip
    curl_setopt($curl, CURLOPT_TIMEOUT, 30); // 设置超时限制防止死循环
    curl_setopt($curl, CURLOPT_HEADER, 0); // 显示返回的Header区域内容
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
    $tmpInfo = curl_exec($curl); // 执行操作
    if (curl_errno($curl)) {echo 'Errno'.curl_error($curl);}
    $data[]=curl_getinfo($curl);
    curl_close($curl); // 关键CURL会话
    $tmpInfo=preg_replace('/script/','js',$tmpInfo);
    $data[]=$tmpInfo;
    return $data; // 返回数据
}
 
//截取字符
function preg_message($message, $rule, $getstr, $limit=1) {
    $result = array('0'=>'');
    $rule = conver_trule($rule);        //转义正则表达式特殊字符串
    $rule = str_replace('\['.$getstr.'\]', '\s*(.+?)\s*', $rule);   //解析为正则表达式
    if($limit == 1) {
        preg_match("/$rule/is", $message, $rarr);
        if(!empty($rarr[1])) {
            $result[0] = $rarr[1];
        }
    } else {
        preg_match_all("/$rule/is", $message, $rarr);
        if(!empty($rarr[1])) {
            $result = $rarr[1];
        }
    }
    return $result;
}
/**
 * 转义正则表达式字符串
 */
function conver_trule($rule) {
    $rule = preg_quote($rule, "/");     //转义正则表达式
    $rule = str_replace('\*', '.*?', $rule);
    $rule = str_replace('\|', '|', $rule);
    return $rule;
}
/*转编码*/
function escape($str) {
  preg_match_all("/[-].|[\x01-]+/",$str,$r);
  $ar = $r[0];
  foreach($ar as $k=>$v) {
    if(ord($v[0]) < 128)
      $ar[$k] = rawurlencode($v);
    else
      $ar[$k] = "%u".bin2hex(iconv("GB2312","UCS-2",$v));
  }
  return join("",$ar);
}

Gjanuary
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
tp5 利用QueryList + PhantomJS实现抓取淘宝京东天猫商品数据
12-20
tp5 利用QueryList + PhantomJS实现抓取淘宝京东天猫商品数据 商品图片,商品详情,规格,参数,价格都能完美获取
Puppeteer万物皆可爬
LuckyWinty的博客
10-09 1308
puppeteer 是一个Chrome官方出品的headless Chrome node库。它提供了一系列的API, 可以在无UI的情况下调用Chrome的功能, 适用于爬虫、自动化处理...
nodejs京东接口分析系列-实现京东自动化功能 之 扫码登陆，需要puppeteer
能
05-10 5188
最近想要实现一个京东扫码登陆和自动下单，自动抢购的功能（ps:实现京东自动化功能）， ！！！本项目纯属学习性质，禁止商业用途 给大家分享一下我是如何一步步通过分析京东的网站请求，查看京东网站的源代码去找到对应的接口和参数 爬虫必备，准备好接口的基础headers头部信息,下面所有接口请求需要在头部传入这些参数，以表示你是个正常用户~ let header = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Ap
如何抓取淘宝上的商品信息和详情页信息
热门推荐
凯凯王的技术生涯
03-27 2万+
来源于微擎里的人人商城里的插件，采用接口：第一个接口未获取基本信息接口,id为淘宝商品IDhttp://hws.m.taobao.com/cache/wdetail/5.0/?id=' .$id第二个接口为获取商品详情信息，id为淘宝商品IDhttp://hws.m.taobao.com/cache/wdesc/5.0/?id=' . $id淘宝商品id来源...
抓取淘宝天猫商品详情图
兰先生的博客
03-30 3893
淘宝/天猫商品详情图通过动态js加载，所以需要二次获取
淘宝天猫商品详情爬取
03-16
本案例聚焦于"淘宝天猫商品详情爬取"，这涉及到利用编程技术来获取电商平台上的商品详细信息，如商品名称、价格、描述、评价等。在Python等编程语言中，通常会使用requests库来发送HTTP请求，BeautifulSoup或Scrapy...
淘宝天猫 商品 爬虫.zip
最新发布
01-06
在这个案例中，"tbcrawler"很可能是一个定制化的爬虫，专门针对淘宝和天猫的商品页面进行数据抓取。爬虫通常包括URL管理器、HTML解析器、数据提取模块等部分，以高效地获取和处理目标网站的数据。 2. **Python编程*...
getImgs:获取淘宝天猫商城的商品大图工具
05-25
本项目名为"getImgs"，是一个专门用于获取淘宝天猫商城商品大图的工具，旨在帮助开发者或者数据分析人员快速批量下载商品图片。这个工具是用Java语言编写的，体现了Java在网络爬虫和数据抓取方面的应用。 首先，...
python 爬虫一键爬取 淘宝天猫宝贝页面主图颜色图和详情图的教程
09-20
教程中使用了正则表达式来从淘宝或天猫的宝贝页面中提取商品的主要图片URL、颜色图片以及商品详情图的URL。 3. **HTTP头部信息**：爬虫在发送请求时应模拟浏览器发送正确的HTTP头部信息。例如，`User-Agent`标识...
天猫（淘宝）数据爬取源码（可直接使用）.zip
07-08
在这个案例中，爬虫主要针对天猫和淘宝的商品页面，目标是获取商品的产地、标价、名称、实际价格、评价和厂家等信息。 2. **Python编程**：Python是一种高级编程语言，因其简洁明了的语法和丰富的库支持，常被用于...
仿天猫thinkphp框架源码
04-13
仿天猫thinkphp框架源码以及移动端html页面，适合值得学习！
Python-淘宝天猫商品数据抓取代码和exe都在里面
08-12
淘宝天猫商品数据抓取，代码和exe都在里面
光猫一键查询超密.zip
05-03
华为光猫获取超极密码必备。好用 电信华为光猫用，必需在英文输入法状态下使用，否则过程出现乱码无法识别命令，导致命令无效
基于think PHP5 .0 vue2.0 QueryList爬虫的淘宝客平台
10-15
1.环境是php5.6和MySQL5.4 及nginx1.9 ，其他环境下请自己修改代码 2.安装，文件里有数据库文件，先导入自己的数据库，配置数据库文件， 3.pc版是基于mvc架构，wap版式API的前后端分离。
天猫和淘宝商品数据爬取
小明的博客
07-28 1万+
一、思路最近做了一个网站用到了从网址爬取天猫和淘宝的商品信息，首先看了下手机端的网页发现用的react，不太了解没法搞，所以就考虑从PC入口爬取数据，但是当爬取URL获取数据时并没有获取价格，库存等的信息，仔细研究了下发现是异步请求了另一个接口，但是接口要使用refer才能获取数据，于是就通过以下方式写了一个简单的爬虫，用于爬取商品预览图和商品的第一个分类的价格、库存等。二、实现代码如下：funct
爬取天猫商品信息
萧鼎的博客
12-01 556
1.完整代码 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.wait import WebDriverWait from urllib.parse import quote from selenium.webdriver.support import expected_conditions as EC from pyquery import
天猫商品采集
网页爬虫与数据采集 · 八爪鱼
05-20 5838
关注微信公众号：八爪鱼大数据（bazhauyudata） 本文介绍使用八爪鱼采集天猫商品信息（以尿不湿为例）的方法 采集网站：https://list.tmall.com/search_product.htm?q=%C4%F2%B2%BB%CA%AA&type=p&vmarket=&spm=a222r.9220234.a2227oh.d100&from=....
天猫商品数据分析数据抓取并实现可视化python代码
09-10
天猫是一个大型的电商平台，通过对天猫商品数据进行分析和数据抓取，我们可以了解市场和消费者的需求，进而制定相应的营销策略和商业决策。 在Python中，我们可以使用一些库来实现天猫商品数据的抓取和分析，并通过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Gjanuary

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值