[置顶] PHP之数据采集[抓取阿里巴巴上宁波企业的详细信息] - 非正则实现

最新推荐文章于 2023-03-24 15:08:53 发布

许一沐

最新推荐文章于 2023-03-24 15:08:53 发布

阅读量1k

点赞数

分类专栏：阿里巴巴企业应用 php 正则表达式 IOC

本文链接：https://blog.csdn.net/vb2005xu/article/details/52539687

版权

php 同时被 3 个专栏收录

158 篇文章 0 订阅

订阅专栏

企业应用

7 篇文章 0 订阅

订阅专栏

正则表达式

3 篇文章 0 订阅

订阅专栏

现在有很多人在做数据采集,个人感觉这个就类似于小偷程序.对于网页中的信息摘取说白了就是通过分析每页的静态HTML元素的值来提取个人需要的信息而已.说白了就是HTML文档分析.传统的做HTML采集大多是靠正则表达式来实现.

但是说出来不怕你笑话,正则一直就是俺最最拿不出手的东西,这里主要DOM解析的方式来实现的.

主要阐述的关键就是: 简单就是美! 怎么简单怎么来,一直喜欢Rebol语言的宗旨:简单的就要最简单,复杂的也能处理.

前今天看过使用htmlparser抓取阿里巴巴上宁波企业的详细资料这篇文章, 写得不错.但是个人认为实在太太繁琐了,对于

JAVA程序员来讲,要熟悉一个新类库可不是一件很容易的事,如果就为了达到一个小目的而要引进新的类库,那最后的工程是不是也太庞大了.就拿著名的JAVA开发三套件"SSH"来说,其实单纯做Web网站,Struts就已经够用了,如果能分出DOM层也是可以的,毕竟不同于企业应用.但是往往很多人都是三者同上,搞得相当复杂不说,就连调试时都要麻烦好几个级别.不同的配置文件,不同的异常处理.其实有什么必要啊?

对于Spring 很多人其实就只是用到了控制反转[IOC]而已,对于切面编程我想很多人没有用到吧.对于新手切记不要将做站和做企业应用混在一块,根本就不是一个层级的东西.所以做出来的东西往往又慢又无效率.在说如果使用企业级应用服务器,对于大多数的中小型公司来说可能真的拿不出这样一笔钱来购置.记得UNIX有个哲学:简单就是美.

本人在接JAVA网站任务的时候其实就仅仅用到Spring这一个框架[而且也只用到它的IOC和JDBC模板],其他的前台的设计个人还是喜欢JS+CSS来做,并未用到它的MVC框架,而是使用它的IOC来配合单一入口实现了一个小小的跳转机制.呵呵呵

不过感觉做站最好的其实是PHP这个语言,因为她是我赚老婆本的东西,动态的脚本语言.反正很好用.话不多说,见代码.这里的代码仅仅抓取了企业名称和网站,其他的尚未实现...完整版本见后续文章....

与以往一样,这里主要使用FleaPHP框架,其实无论哪种框架,原理差不多,何况我这个代码没有用到这个框架的什么东西,就只是smarty的加载而已这里没有使用到数据库,主要仅仅是一个测试,后期再加入....

本代码纯粹原创,转载请附上作者信息....

CompanyInfo.php

company.get.html

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
<title>CompanyInfo List</title>
</head>
<body>
采集源路径: <a href="<% $res_url %>" target="_blank"><% $res_url %></a> 
<hr/>

<table border=1>
<thead>
	<tr>
		<%foreach from=$dataArr_head item=curr_field_title%>
			<th> <% $curr_field_title %> </th>
		<%/foreach%>
	</tr>
</thead>

<tbody>
<%section name=company loop=$dataArr %>
	<tr>
		<td><%$smarty.section.company.index%></td>
		<%foreach from=$dataArr[company] item=curr_id%>
			<td> <% $curr_id %> </td>
		<%/foreach%>	
	</tr>
<%/section%>
</tbody>	
</table>

</body>
</html>

查看图片附件

许一沐

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
[置顶] PHP之数据采集[抓取阿里巴巴上宁波企业的详细信息] - 非正则实现

现在有很多人在做数据采集,个人感觉这个就类似于小偷程序.对于网页中的信息摘取说白了就是通过分析每页的静态HTML元素的值来提取个人需要的信息而已.说白了就是HTML文档分析.传统的做HTML采集大多是靠正则表达式来实现.但是说出来不怕你笑话,正则一直就是俺最最拿不出手的东西,这里主要DOM解析的方式来实现的. 主要阐述的关键就是: 简单就是美! 怎么简单怎么来,一直喜欢Rebol语言的宗旨:
复制链接

扫一扫