100行PHP代码采集阿里巴巴商家信息

最新推荐文章于 2023-03-09 10:26:25 发布
最新推荐文章于 2023-03-09 10:26:25 发布
阅读量2k 收藏 2
点赞数
分类专栏： php 文章标签： 阿里巴巴 php 源代码 信息 采集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cengjingcanghai123/article/details/19918141
版权

Alibaba商家信息采集说明

 

一、             如何获取商家列表页面链接

http://www.alibaba.com/corporations/jiangmen/CN——————————–.html

例如此页面为alibaba上所有jiamen商家信息列表，也能看到Page:1/29字样

多数网站在第一页的链接中是找不到页面标识的，此时点击下一页得到链接

http://www.alibaba.com/corporations/jiangmen/CN——————————–/2.html?tracelog=24581_list_turnpage

可发现末尾变成了2.html……

把？以及后面的参数去掉，并修改3、4、5试试

http://www.alibaba.com/corporations/jiangmen/CN——————————–/2.html

http://www.alibaba.com/corporations/jiangmen/CN——————————–/3.html

http://www.alibaba.com/corporations/jiangmen/CN——————————–/5.html

发现通用的列表页面链接应该是：

http://www.alibaba.com/corporations/jiangmen/CN——————————–/{$page}.html

二、             从列表页面获取所有页面内容

由于alibaba防采集，所以我们伪装成IE浏览器的HTTP访问。

<?php

$HTTP_SESSION=_rand();

$HTTP_SESSION;

$HTTP_URL=”http://www.alibaba.com/corporations/jiangmen/CN——————————–/”.$page.”.html”;

$ch = curl_init();

curl_setopt ($ch,CURLOPT_URL,$HTTP_URL);

curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);

curl_setopt($ch,CURLOPT_USERAGENT,”Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)”);

$res = curl_exec($ch);

curl_close ($ch);

?>

这样列表页的内容就赋值给了$res

三、             如何从列表页面获取具体商家链接

以第一页为例

http://www.alibaba.com/corporations/jiangmen/CN——————————–/1.html

查看源代码，可以发现所有商家名称的链接都是此样式

<a id=”lsubject_213601299″ href=”http://rondabattery.en.alibaba.com” οnclick=”onCompanyClick(&quot;213601299&quot;);” title=”Jiangmen Ronda Battery Co., Ltd.” target=”_blank”><font><b>Jiangmen</b></font> Ronda Battery Co., Ltd.</a>

即http://{CompanyName}.en.alibaba.com

用正则从$res的内容中找出所有的{CompanyName}:

preg_match_all(‘/href\s*=\s*["|\']?([^\s"\'>]*).en.alibaba.com\”/i’,$res,$arr);

这样$arr中就是列表第一页中所有的商家的链接了。

四、             如何采集商家信息

首先循环得到单个商家的链接

<?php

foreach($arr[1] as $a=>$web)

?>

用$web拼上.en.alibaba.com就是商家链接了

例如http://rondabattery.en.alibaba.com/

浏览发现 所有公司的联系信息都是http://rondabattery.en.alibaba.com/contactinfo.html

再伪装IE采集一次单个商家的联系信息页面

<?php

$HTTP_SESSION=_rand();

       $HTTP_SESSION;

       $HTTP_Server=$web;

       $HTTP_URL=”.en.alibaba.com/contactinfo.html“;

       $ch1 = curl_init();

       curl_setopt ($ch1,CURLOPT_URL,$HTTP_Server.$HTTP_URL);

       curl_setopt($ch1,CURLOPT_RETURNTRANSFER,true);

       curl_setopt($ch1,CURLOPT_USERAGENT,”Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)”);

       $res1 = curl_exec($ch1);

       curl_close ($ch1);

?>

这样$res1中就是这个rondabattery公司联系信息页面的内容了。

五、             如何采集联系人、电话等详细信息

http://rondabattery.en.alibaba.com/contactinfo.html

查看源代码可以发现

<tr>

       <th width=”25%”>Company Name:</th>

       <td>       Jiangmen Ronda Battery Co., Ltd.</td>

</tr>

公司名等信息都是这样的格式

在用正则匹配就行了：

preg_match(“/Company Name:(.*?)<\/td>/s”,$res1,$Cname);

这样$Cname中就是绿色的内容

<tr>

       <th width=”25%”>Company Name:</th>

       <td>       Jiangmen Ronda Battery Co., Ltd.</td>

</tr>

显然</th><td>不是我们需要的内容

$Cname = trim(strip_tags($Cname[1]));

strip_tags：去除字符串中的html标签，

trim：去除字符串首尾的空格，

tip：

有时会碰到内容中有双引号（”），常见于公司介绍等内容，需要替换掉，否则存数据库时会出现sql语句错误。

$name = str_replace(“\““,”",$name);

六、             将获取的信息存入数据库

<?php

mysql_pconnect(“localhost”, “root“, “password“) or

       die (“Could not connect” . mysql_error());

mysql_select_db(“company“);

mysql_query(“SET NAMES ‘UTF8′”);

 

$result = mysql_query(“

INSERT INTO alibaba (

Name,Company,Address,City,Province,Region,Zip,Tel,Phone,Fax,Web

) VALUES(

‘”.htmlspecialchars($name).”‘,

‘”.htmlspecialchars($Cname).”‘,

‘”.htmlspecialchars($Add).”‘,

‘”.htmlspecialchars($City).”‘,

‘”.htmlspecialchars($Pronvice).”‘,

‘”.htmlspecialchars($Region).”‘,

‘”.htmlspecialchars($Zip).”‘,

‘”.htmlspecialchars($Tel).”‘,

‘”.htmlspecialchars($Phone).”‘,

‘”.htmlspecialchars($Fax).”‘,

‘”.htmlspecialchars($Web).”‘

)”);

?>

Htmlspecialchars是将内容中的html字符做转义处理，但默认不处理双引号，所以前面有提到需要单独将双引号替换。

帐户、密码、数据库名、表名以及其中各个字段定义请根据实际情况做修改。

七、             如何处理每个列表页面

前面的循环只将列表页面第一页的20个商家做了采集，但是有29个列表页面需要处理。

这样做一个带参数的页面跳转。

<?php

if($page >= 29){

       echo “OVER!”;exit();

}else{

       echo “<meta http-equiv=refresh content=’0; url=alibaba.php?page=”.++$page.”‘>”;

}

?>

然后在此php文件的开头获取需要处理的列表页号

<?php

if($_GET['page']){

       $page = $_GET['page'];

}else{

       $page = ’1′;

}

?>

这样php运行时会先获取需要处理的列表页号,

如果没有传page参数则从第一页开始执行，

拼出链接，即文章最开头提到的

$HTTP_URL=”http://www.alibaba.com/corporations/jiangmen/CN——————————–/”.$page.”.html”;

在程序最后会判断当前处理了多少页，如果达到最大页面数就显示OVER并结束程序。

否则++$page，将页号加1并做跳转继续执行此程序。

八、             php代码

<!DOCTYPE html PUBLIC “-//W3C//DTD XHTML 1.0 Transitional//EN” “http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd”>

<html xmlns=”http://www.w3.org/1999/xhtml”>

<head>

<meta http-equiv=”Content-Type” content=”text/html; charset=utf-8″ />

<title>alibaba采集</title>

<?php

set_time_limit(0);

function _rand() {

       $length=26;

       $chars = “0123456789abcdefghijklmnopqrstuvwxyz”;

       $max = strlen($chars) – 1;

       mt_srand((double)microtime() * 1000000);

       $string = ”;

      

       for($i = 0; $i < $length; $i++) {

              $string .= $chars[mt_rand(0, $max)];

       }

       return $string;

}

error_reporting(0);

ini_set(‘html_errors’,false);

ini_set(‘display_errors’,false);

mysql_pconnect(“localhost”, “root”, “password”) or

       die (“Could not connect” . mysql_error());

mysql_select_db(“company”);

mysql_query(“SET NAMES ‘UTF8′”);

if($_GET['page']){

       $page = $_GET['page'];

}else{

       $page = ’1′;

}

$HTTP_SESSION=_rand();

$HTTP_SESSION;

$HTTP_URL=”http://www.alibaba.com/corporations/jiangmen/CN——————————–/”.$page.”.html”;

$ch = curl_init();

curl_setopt ($ch,CURLOPT_URL,$HTTP_URL);

curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);

curl_setopt($ch,CURLOPT_USERAGENT,”Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)”);

$res = curl_exec($ch);

curl_close ($ch);

preg_match_all(‘/href\s*=\s*["|\']?([^\s"\'>]*).en.alibaba.com\”/i’,$res,$arr);  

foreach($arr[1] as $a=>$web){

       $HTTP_SESSION=_rand();

       $HTTP_SESSION;

       $HTTP_Server=$web;

       $HTTP_URL=”.en.alibaba.com/contactinfo.html”;

       $ch1 = curl_init();

       curl_setopt ($ch1,CURLOPT_URL,$HTTP_Server.$HTTP_URL);

       curl_setopt($ch1,CURLOPT_RETURNTRANSFER,true);

       curl_setopt($ch1,CURLOPT_USERAGENT,”Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)”);

       $res1 = curl_exec($ch1);

       curl_close ($ch1);

       preg_match(“/contactName(.*?)<\/a>/s”,$res1,$name);

       $name = strip_tags($name[1]);

       //$name = str_replace(“\”",”",$name);

       //$name = str_replace(“>”,”",$name);

       $name = trim($name);

       preg_match(“/Company Name:(.*?)<\/td>/s”,$res1,$Cname);

       $Cname = trim(strip_tags($Cname[1]));

       preg_match(“/Street Address:(.*?)<\/td>/s”,$res1,$Add);

       $Add = trim(strip_tags($Add[1]));

       preg_match(“/City:(.*?)<\/td>/s”,$res1,$City);

       $City = trim(strip_tags($City[1]));

       preg_match(“/Province\/State:(.*?)<\/td>/s”,$res1,$Pronvice);

       $Pronvice = trim(strip_tags($Pronvice[1]));

       preg_match(“/Country\/Region:(.*?)<\/td>/s”,$res1,$Region);

       $Region = trim(strip_tags($Region[1]));

      

       preg_match(“/Zip:(.*?)<\/td>/s”,$res1,$Zip);

       $Zip = trim(strip_tags($Zip[1]));

      

       preg_match(“/Telephone:(.*?)<\/td>/s”,$res1,$Tel);

       $Tel = trim(strip_tags($Tel[1]));

      

       preg_match(“/Mobile Phone:(.*?)<\/td>/s”,$res1,$Phone);

       $Phone = trim(strip_tags($Phone[1]));

      

       preg_match(“/Fax:(.*?)<\/td>/s”,$res1,$Fax);

       $Fax = trim(strip_tags($Fax[1]));

      

       preg_match(“/Website:(.*?)<\/td>/s”,$res1,$Web);

       $Web = trim(strip_tags($Web[1]));

$result = mysql_query(“

INSERT INTO alibaba (

Name,

Company,

Address,

City,

Province,

Region,

Zip,

Tel,

Phone,

Fax,

Web

) VALUES(

‘”.htmlspecialchars($name).”‘,

‘”.htmlspecialchars($Cname).”‘,

‘”.htmlspecialchars($Add).”‘,

‘”.htmlspecialchars($City).”‘,

‘”.htmlspecialchars($Pronvice).”‘,

‘”.htmlspecialchars($Region).”‘,

‘”.htmlspecialchars($Zip).”‘,

‘”.htmlspecialchars($Tel).”‘,

‘”.htmlspecialchars($Phone).”‘,

‘”.htmlspecialchars($Fax).”‘,

‘”.htmlspecialchars($Web).”‘

)”);

}

if($page >= 29){

       echo “OVER!”;exit();

}else{

       echo “<meta http-equiv=refresh content=’0; url=alibaba.php?page=”.++$page.”‘>”;

}

?>

</head>

<body>

</body></html>

延伸阅读

▶ Walkthrough007

曾经沧海难为水-除却巫山不是云
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PHP curl模拟浏览器采集阿里巴巴的实现代码
10-28
都说阿里巴巴有不能采集和防采集的神话，今天就用张老师讲的Curl采集写了一个模拟浏览器的代码。
PHP之数据采集[抓取阿里巴巴上宁波企业的详细信息] - 非正则实现
过客阵营 -- 简单的就要最简单
11-13 536
现在有很多人在做数据采集,个人感觉这个就类似于小偷程序.对于网页中的信息摘取说白了就是通过分析每页的静态HTML元素的值来提取个人需要的信息而已.说白了就是HTML文档分析.传统的做HTML采集大多是靠正则表达式来实现. 但是说出来不怕你笑话,正则一直就是俺最最拿不出手的东西,这里主要DOM解析的方式来实现的.   主要阐述的关键就是: 简单就是美! 怎么简单怎么来,一直喜欢Rebol语言的宗旨:...
拼多多电商API接口详情
Anzexi123的博客
06-28 1272
拼多多电商API接口详情
php curl 抓取1688 商品信息
qq_28404381的博客
10-17 2829
根据商品详情链接，抓取商品信息 $url = 'https://detail.1688.com/offer/40009088544.html?spm=a262gg.11982098.jl3f2q8t.2.714a442aN2DSNF&resourceId=648056&udsPoolId=772896'; catchData($url); function catchData($u...
一步教会你如何获取1688商品详情
Noah_ZX的博客
09-18 1814
sales_data:&sales_data=1 获取近30天成交数据。agent:&agent=1 获取1688分销代发价格数据\。请求参数：num_iid=666787843227。参数说明：num_iid:1688商品ID。
php curl 抓取 采集 1688 商品信息
qq_36028348的博客
03-17 1468
<?php set_time_limit(0); date_default_timezone_set("Asia/Shanghai"); error_reporting(E_ERROR); header("Content-type: text/html; charset=utf-8"); $url = 'https://detail.1688.com/offer/40009088544.html?spm=a262gg.11982098.jl3f2q8t.2.714a442aN2DSNF&.
php 信息采集程序代码
10-30
通过检测，$c已经是内容页的数据流了，可是$pc这个的正则表达式为什么只匹配<这个字符其他的都没有呢
php实现的仿阿里巴巴实现同类产品翻页
12-17
复制代码 代码如下:<?php /** 实现同类产品翻页 **/ class pager { protected $space; protected $left; protected $DB; protected $pageName; public function setSpace($num) { $this->space = $num; $this->...
PHP音乐采集(部分代码)
10-31
PHP音乐采集(部分代码)
item_get - 获得1688商品详情
Onebound_Ed的博客
11-16 609
item_get - 获得1688商品详情 测试网址：点击注册测试 Result Object: --------------------------------------- { "item": { "num_iid": "610947572360", "title": "厂家直销小米有品Qin2 Pro智能手机学生机老人机备用机小爱同学4G", "desc_short": "", "price": "799.00", "total_price": 0, "suggestive
阿里巴巴商品信息采集工具V1.0
05-15
软件的主要功能是自动化的大批量从阿里巴巴商家网站中搜索读取产品信息（包括商品标题、链接地址、价钱、销量等），读取结果可以导出固定格式的文本内容，直接贴到Excel表格中就可以与淘宝助手保存的数据文件互相对比更新，为您节省了大量的功夫，是淘宝网店代理必备之工具。
小京东采集插件
04-08
1）进入后台“SQL查询”输入以下代码，提交 ALTER TABLE `ecs_order_info` ADD `tb_nick` varchar(50) NOT NULL COMMENT '淘宝昵称'; 注意：如果你的数据表前缀 不是 ecs_ 请自行修改
php抓捕1688商品详情,python 抓取 1688商品详情
weixin_39968490的博客
03-23 402
写的还是不完善，抓取的价格还稳定，还有详情现在无法抓到#!/usr/bin/pythonimport threadingfrom time import ctime,sleepimport pycurlimport urllib2import sys,osimport StringIOfrom lxml import etreeimport datetimestarttime = datetime...
抓取1688产品的代码
Terry - 专注外贸B2C
03-07 7190
<?php $f_url = "http://detail.1688.com/offer/36618237146.html"; $url = "http://127.0.0.1/test/dom/x.php?url=".$f_url; require("simple_html_dom.php"); //echo file_get_contents("http://www.taobao.com")
快速采集1688商品详情，1688商品sku属性，1688优惠券信息接口代码对接展示
weixin_19970108018的博客
09-16 945
1688商品详情接口，1688app商品详情接口，1688商品销量接口，1688商品列表接口，1688商品属性接口，1688商品sku信息接口，1688优惠券接口，1688商品历史价格接口，1688实时商品数据接口，1688H5详情接口，1688整店商品详情接口，一键复制1688商品详情接口，一键复制1688商品接口，1688店铺商品接口，1688app商品列表，1688app商品销量接口，1688app商品优惠券接口，1688app商品历史价格接口，1688工厂数据接口，1688店铺联系方式接口
阿里巴巴国际站API分享：抓取商品详情数据 附调用说明、请求示例
YONG823_API的博客
03-09 678
alibaba.item_get通过传入商品ID，可抓取到阿里巴巴国际站中的商品详情页数据，包括商品标题、商品简介、价格、掌柜昵称、商品链接、商品图片、商品图片列表、商品属性名、商品属性图片列表、sku信息、价格区间、商品属性列表、卖家信息、商品属性别名、销量、详情图片。“门到门”服务能力是重点方向之一：货物从工厂拉到境内港口、报关，通过海陆空进入境外港口，清关、完税，最后完成末端配送。请求地址: https://api-gw.onebound.cn/alibaba/item_get。
php curl模拟织梦登录,PHP 模拟浏览器 CURL 采集阿里巴巴
weixin_34651330的博客
03-19 71
都说阿里巴巴有不能采集和防采集的神话，今天就用张老师讲的Curl采集写了一个模拟浏览器的代码。没有不可能只有不去做，哈哈set_time_limit(0);function _rand() {$length=26;$chars = "0123456789abcdefghijklmnopqrstuvwxyz";$max = strlen($chars) - 1;mt_srand((double)mi...
提供一段php字符转义的100行后端代码
最新发布
05-04
以下是一个简单的PHP字符转义函数： ```php function escape($string) { ...这个函数将字符串中的反斜杠、单引号、双引号、换行符、回车符和制表符进行转义。可以在需要的地方调用此函数进行转义。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值