火车头采集器基本用法

最新推荐文章于 2024-03-19 19:10:37 发布
最新推荐文章于 2024-03-19 19:10:37 发布
阅读量2k 收藏
点赞数
分类专栏： 办公 采集器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sflsgfs/article/details/50517002
版权

fiddler软件用法，有2和4版本的差别

1）get简单的实际网页如page写实际的在添加上可以用（*）代替

2）post的需要cookies与user-agent:同时类型选择post

3）post后有跳转的，手写参数处理参数，在参数中行前部手写或者复制粘贴前缀，有时一页中有多页链接的，可以用下级链接的


用户昵称2024
关注
专栏目录
火车头采集器超级详细图文使用指导（面向新手）
DE的个人原创笔记
05-11 7558
火车采集器·超级详细使用指导
火车头采集的文件发布到服务器上,火车头采集器图片采集上传设置
weixin_42529366的博客
08-05 2621
教程总目录：前面我们写了基础的标题和文章采集，下面介绍下图片的采集。图片采集不是必须的，但是图片可以丰富网站的内容，具体我也不清楚对网站的SEO有什么影响。我测试采集图片和不采集图片收录没区别，我见到的一些采集站，大部分也是不采集图片的！如果采集数据量比较大的话可以选择不采集图片。正文开始首先是火车头采集器上的设置。我们以这个文章为例：https://server.zzidc.com/server...
火车头linux,火车头采集器 能在linux系统上使用吗?
weixin_29159613的博客
05-26 263
满意答案hqvhb591932012.11.16采纳率：42%等级：12已帮助：12045人 你可以试试 在Linux上运行C#和.NET 在Linux上运行C#和.NET 众所周知，C#是Microsoft推出的.NET语言，只能在.NET平台上运行，例如Windows 9x/Me/NT/2000/XP和Windows CE之类的操作系统。但是，现在却有了一个叫做Mono的项目，它的目标...
centos7.2 实现火车头效果
Ta曰丿、她活的博客
07-19 917
安装使用yum命令：yum install sl.x86_64 -y 确定安装就可以了， 运行 sl
火车采集 PHP插件 post,火车头采集器外部PHP编程插件的使用
weixin_32208021的博客
03-18 1138
使用外部编程插件(PHP)，可以对你的数据做任意你想要的处理。处理原理是程序先用你写的规则获取内容，然后将数据发送给php相关的程序处理。 这个需要有一定php基础的朋友使用。在程序里使用时，请先测试。 2009SP3支持所有编码数据的处理.这里你可以编写程序，具体的编写方法我们有例子在里边，你可以参考一下。注意对于不处理的标签，也要输出内容，就是echo $LabelContent，保存编码默...
火车采集 PHP插件 post,火车采集器2010版PHP插件增加扩展的方法
weixin_31282885的博客
03-18 181
火车采集器2010版PHP插件增加扩展的方法作者：小文 发布于：2010-8-28 12:19 Saturday分类：常见问题火车采集器的PHP插件的实现原理是使用php命令行模式,向php的cli文件发送命令,然后PHP处理php文件,采集器获取返回的数据.从理论上说,PHP插件可以实现几乎所有的PHP功能.关于PHP命令行,大家可以参考官方的权威说明 http://docs.php.net/...
火车头采集post分页采集超强解决方案
热门推荐
的
06-20 2万+
火车头采集中经常遇到分页采集，普通的分页采集大家可以很容易的处理，但是如果是post分页采集那就需要借助其他的一些火车头插件或者程序来处理了，下面以顺德房产网http://house.shunde.net.cn/sellhouse.aspx 为实例，需要你掌握一些php的基础知识这类post分页与普通的不同就是在于，post数据中分页部分并不是一页页递增的，而是每10页是一栏（每一栏分
火车头7.6版采集https插件：网站报错System.Net.HttpWebRequest问题解决方案
11-17
在IT行业中，网络数据采集是常见的任务之一，而火车头（Web Crawling）是一款流行的网页抓取工具，尤其适用于大规模数据获取。在这个场景下，我们遇到了一个特定的问题——"System.Net.HttpWebRequest"错误，这是在...
火车采集器采集ajax,火车头采集器JavaScript之ajax网站采集实例教程
weixin_39638708的博客
08-05 1867
大部分网站的有些内容需要通过ajax调用，或者隐藏在js里面，需要大家把真实的内容js地址找出来，这就需要一定的火车头采集器的使用经验了，今天给大家分析一个javascript类型的ajax采集实例，具体看下面的介绍今天我们以这个站作为本次javascript类型的ajax的采集实例的示例网站主要源码Page(1,”{SQL_新闻中心分页()}”,”20089156087841″,”/”,”plu...
火车头如何html发布,火车头采集器教程：WEB在线发布模块的修改
weixin_30647853的博客
06-16 1324
一个完整的web发布模块,是应包含发布时大部分细节说明的.我以火车自带的模块为例.讲解一下模块的使用.首先我们看一下模块说明,我们可以在添加发布配置里打开模块帮助或是直接用模块编辑器打开.我们以Dedecms 5.3的模块帮助为例,先讲一下修改发布模块发布这块信息.看下图,发表post数据里是必要参数,也主是缺少这些参数后不能发布成功.看一下,里边对有们有用的只个有标题,内容,这些发布时就是将我...
火车头采集器如何自制php插件
三丰的博客
03-17 2265
如题,本文讲的是如何使用火车头采集器进行数据处理 一:打开采集器. 进入第四步其他设置->插件(其他版本的都差不多,找到插件选项) 2)点击插件管理测试工具 3)点击添加,选择php插件 4)复制上文之中的代码 使用火车头采集器的时候往文本之中均匀的插入图片https://blog.csdn.net/u014401637/article/details/123542540),然后在else if($LabelArray['PageType']=="Save")这个条件下..
火车头免费版 post 只采集列表页面内容
bestmover的博客
09-01 4806
如果想post只采集列表页面不可能  火车头只会先获取列表页面 再从列表页面获取内容页面进行采集 ， 如果我想只采集列表页面的容易有方法吗 我是这样做的 我自己写了个php页面， 从列表页面上面提取参数出来，再将参数发给我自己的页面 ，我在自己的php页面中将采集的数据保存起来  这样就把列表内容采集到了  如果谁还有好的方法 可以发到我的邮箱里面460786194@qq.com
火车头抓取ajax+post,关于Web发布时提交纯文本POST数据的设置方式
weixin_31725659的博客
08-05 591
有的网站的数据提交方式是使用纯TXT或其它方式提交的，所以用v8的表单方式是直接处理不了的，如下POST http://blog.youdao.com/dwr/exec/outfoxAjaxWrapper.getDetailedSummary.dwr HTTP/1.1Host: blog.youdao.comUser-Agent: Mozilla/5.0 (Windows; U; Windows ...
火车头采集器采集下载图片，上传图片教程
最新发布
moshi_6的博客
03-19 1156
火车头采集器支持采集下载图片，并上传到服务器，云存储等。 简数采集器支持一键设置图片下载上传到本地服务器，阿里云oss存储，腾讯云cos存储，七牛云存储，又拍云存储等。
js 定义一个方法实现从页面URL中获取参数
m0_49016709的博客
09-29 975
在日常开发中页面间跳转使用url里传递参数很是方便，今天就写一个函数方便从url里获取传递的参数。 url里传递参数需要使用&链接,写法是&key=val 直接上代码 /** * 获取url参数 * @param name 参数的名称 * @returns 参数名称对应的值 */ let getUrlParam=function(name) { //构造一个含有目标参数的正则表达式对象 var reg = new RegExp("(^|&)" + name + "=([
火车头采集器使用教程
xiegr71的专栏
07-03 1万+
1、火车头介绍 2、什么是信息采集 3、什么是火车头 4、火车头是干啥的 5、火车头规则定制 6、规则编写流程 7、采网址详解 8、采内容详解 9、注意事项 什么是火车头？ 我们打开一个网站,看到有一篇文章很不错,于是我们就将文章的标题和内容复制了一下,将这篇文章转到我们的网站上.我们的这个过程,就可以称作一个采集,将别人网站上对自己有用的信息转到自己网站上；互联网上的内容，大...
火车头采集时抓的内容与浏览器显示的不一致 只需把user-agent设为用户本地IE浏览器就行。
chenhao0568的专栏
05-19 5303
火车头采集时抓的内容与浏览器显示的不一致 只需把user-agent设为用户本地IE浏览器就行。
转载《五大免费采集器哪个好,火车头,海纳,ET,三人行,狂人采集 》
weixin_33811961的博客
06-25 384
在目前的站长圈内，比较流行的采集工具有很多，但是总结起来，比较出名的免费的就这么几个：火车头，海纳，ET，三人行，狂人。 下面我们对这几款采集工具作一个简单的评比。 1.火车头 基本上人人都知道，那就放第一位，要多说两句。 火车头应该是国内采集软件最成功的典型之一，使用人数包括收费用户数量上应该是最多的 特色：简单，功能强大，速度快，支持的网站最丰富，支持丰富扩展 优点：功能比较齐全...
火车头采集器采集教程
贵州seo外包的博客
07-28 7087
一、采集背景 　　采集背景：采集简书文章标题、网址、阅读数 　　目的：用来做数据分析 　　使用工具：火车头采集器(火车采集器是一款互联网数据抓取、处理、分析，挖掘软件。) 　　二、采集方法步骤说明 　　步骤1：安装火车头采集器(注意：需要安装net4.0框架才能运行) 　　火车头采集器下载地址： 　　http://www.locoy.com/ 　　步骤2：注册账号 　　步骤3：了...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值