前嗅
关注
分享
扫一扫
文章平均质量分 65
雨霖铃儿
这个作者很懒，什么都没留下…
展开
-
房产|1月全国70城房价出炉！疫情放开后你关心的城市房价有何变化
2023年1月份，70个大中城市中新房销售价格环比上涨城市个数增加；一线城市新房销售价格环比同比转涨、二三线城市环比降势趋缓，二三线城市同比下降。原创 2023-02-17 18:18:45 · 753 阅读 · 1 评论 -
如何创建模板
从网站入口页到目标数据页，一共需要跳转几层不同网页结构的页面，通常就需要几层模板。原创 2023-01-06 17:48:45 · 986 阅读 · 0 评论 -
【从零开始学爬虫】模板的复制与粘贴
模板的复制与粘贴：将已配置好的模板层级，复制并粘贴到需要的新模板中，提高配置效率。原创 2023-01-06 17:43:42 · 384 阅读 · 0 评论 -
福利 | 这些网站有免费代理IP！
闲来无事，为大家整理了一些免费代理IP的网站，比较适用于对ip质量要求不高，时效要求不长的小伙伴，日常经常用的小伙伴赶紧收藏啦！http://www.66ip.cn/index.htmlhttps://seofangfa.com/proxy/https://ip.jiangxianli.com/http://www.xiladaili.com/gaoni/6/http://www.xsdaili.cn/dayProxy/ip/2459.htmlhttp://www.dailii.原创 2020-12-08 10:38:59 · 27285 阅读 · 4 评论 -
“2020年，我30岁了”
人们很喜欢用10年来总结一段历程、一个时代。但往往10年太漫长，10年离我们很遥远。如果10年太长，不如用5年来见证成长的每一个阶段。——5岁的前嗅今天是2020年的第二天，同时也见证了第一批90后正式迈入30而立的年龄。这一刻也终于不用倒计时了。30岁，好像是一个很微妙的时间点。20岁的时候想着，25岁的我会在哪里？25岁的时候想...原创 2020-01-02 10:27:05 · 571 阅读 · 3 评论 -
前嗅ForeSpider脚本教程：模板脚本
链接脚本是频道的模板中的脚本。配置了模板脚本，模板的处理流程将被改变：1.如果脚本未正确返回dom区域节点，则该模板的采集则完全由该脚本控制。2.如果脚本返回了一个正确的dom区域节点，则该模板的所有流程（链接抽取或数据抽取）都以该区域节点为基准，区域外的信息和数据将优先作为垃圾数据处理。一.可用全局对象（只读）EXTRACT:当前采集引擎[ 对象类型:extrac...原创 2019-03-26 09:36:10 · 1023 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：频道脚本使用场景及配置关键词搜索
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程中频道脚本的应用场景以及脚本配置关键词搜索的实战教程。具体内容如下：一.频道脚本使用场景当需要手动创建采集源列表，或者完全使用脚本采集数据时，在“频道脚本”处，你可能用到的类为extractor、result。你可以定义类的对象来使用其成员方法，也可以使用EXTRACT、RESULT两个全局对象。关于这两个...原创 2019-04-04 09:42:18 · 663 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：链接脚本
链接脚本是链接抽取中的脚本。配置了链接脚本，链接的抽取流程将被改变：1.如果脚本未正确返回dom区域节点，则该链接抽取的规则将完全由该脚本控制。2.如果脚本返回了一个正确的dom区域节点，则此链接抽取以返回的区域节点为基准，区域外的链接将被过滤掉。一.可用全局对象（只读）EXTRACT: 当前采集引擎[ 对象类型:extractor]DATADB: 当前连接的数据库[...原创 2019-03-27 09:32:35 · 618 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：链接过滤脚本
链接过滤脚本是地址和标题过滤中的脚本， 过滤类型必须选择脚本过滤时过滤脚本才能生效，过滤脚本用于处理复杂的链接或标题过滤需求。一.可用全局对象（只读）EXTRACT:当前采集引擎[ 对象类型:extractor]DATADB:当前连接的数据库[ 对象类型:dataBase]RESULT:当前结果集对象[ 对象类型:result]URL:当前采集的...原创 2019-03-28 10:09:32 · 223 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：数据过滤脚本
数据过滤脚本与数据抽取脚本并列的脚本,它的作用是对抽取的数据进行过滤。注意：一旦有了数据过滤脚本则数据抽取脚本将失效，即“数据处理” 下拉菜单必须选择“数据过滤脚本”。一.可用全局对象（只读）EXTRACT：当前采集引擎[ 对象类型：extractor]DATADB：当前连接的数据库[ 对象类型：dataBase]RESULT：当前结果集对象[ 对象类型：resu...原创 2019-04-02 09:37:36 · 575 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：字段取值脚本
字段取值脚本是字段的取值类型选择脚本取值时，需要配置的脚本。这一步是通过脚本来获取字段的填充值。注意：一旦有了字段取值脚本，则字段处理脚本将失效。一.可用全局对象（只读）EXTRACT:当前采集引擎[ 对象类型:extractor]DATADB:当前连接的数据库[ 对象类型:dataBase]RESULT:当前结果集对象[ 对象类型:result]...原创 2019-04-02 09:41:21 · 973 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：数据抽取脚本
数据抽取脚本与数据过滤并列的脚本,它的作用是对抽取的数据进行过滤。数据处理脚本是数据抽取中的脚本。点击“数据抽取”节点，在“数据脚本”的下拉菜单必须选择“数据抽取脚本”。配置了数据处理脚本，数据的抽取流程将被改变：1.如果脚本未正确返回dom区域节点，则该数据抽取的规则将完全由该脚本控制。2.如果脚本返回了一个正确的dom区域节点，则此数据抽取以返回的区域节点为基准，区域外的数据则优先当做...原创 2019-03-29 09:36:32 · 516 阅读 · 0 评论 -
前嗅ForeSpider脚本教程-频道脚本：脚本采集数据
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程中频道脚本，脚本采集数据的实战教程。具体内容如下：一.场景此处为高手操作，配置的频道脚本接管所有采集流程，无需再做任何配置。二.示例获取下图商品的评论。三.脚本实例var gdoc = EXTRACT.OpenDoc(this,"http://product.dangdang.com/index...原创 2019-04-08 14:13:40 · 888 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：运算符与运算顺序
今天小编为大家介绍的是：前嗅ForeSpider脚本中的运算符和运算顺序，具体内容有：脚本支持的运算符、运算顺序、运算级别以及默认类型转换顺序。一.ForeSpider脚本支持的运算符1.一般运算符：2.比较运算符：3.赋值运算：4.自增自减运算：5.移位运算：二.运算顺序与运算级别ForeSpider脚...原创 2019-03-13 18:04:18 · 312 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：基本语句
今天，小编主要为大家介绍一下：前嗅ForeSpider脚本中的基本语句。内容包括：顺序语句，条件语句，循环语句，开关语句和返回语句。1.顺序语句ForeSpider脚本语法规则类似JavaScript、C++等标准语言，每一条语句用分号隔开，例如：x = 1; y =2; z=x+y;或者，一行一条语句，例如：x=1y=2z = x+y多个变量声明之间可...原创 2019-03-13 17:57:52 · 407 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：基础对象（一）
今天，小编为大家介绍一下：前嗅ForeSpider脚本中的基础对象。主要内容有：基础对象var、字符串string、数字类number、时间类time。具体内容如下：一.基础对象varvar类为基本类，任何一个变量或常量都是var类，任何其他的对象类都派生域var类。1.类成员2.成员方法二.字符串stringstring类为...原创 2019-03-14 11:24:16 · 307 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：脚本概述
本教程主要对前嗅ForeSpider脚本做了详细的介绍。主要内容包括：脚本结构，脚本与可视化配置的关系，各节点脚本之间的关系，以及脚本编辑区。具体内容如下：一.ForeSpider脚本结构ForeSpider脚本是前嗅自主研发的爬虫脚本语言，风格类似于JavaScript。ForeSpider脚本语言属于轻量级的脚本语言,为支持高级数据采集的规则补充，它支持对象操作，函数，数组...原创 2019-03-11 11:15:32 · 643 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：基础对象（二）
今天，小编给大家介绍一下：前嗅ForeSpider脚本中的基础对象，主要内容有：数组类array、键值对类hash、文件类file、字段操作类field。具体内容如下：一.数组类arrayarray类为数组类。1.类成员2.成员方法3.脚本应用如果在导航栏的采集预览中找到多个栏目，我们需要的个别栏目在爬虫的链接过滤中很难得到的时候。那...原创 2019-03-20 18:14:08 · 547 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：基础对象（三）
今天，小编主要为大家介绍一下：前嗅ForeSpider脚本中的基础对象，主要内容包括：记录类record，记录集类records，数据表类dataTable，dataInRet类。具体内容如下：一.记录类recordrecord类为数据记录类。1.类成员：2.成员方法：二.记录集类recordsrecords类为数据记录集类，...原创 2019-03-20 18:24:31 · 191 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：标准对象（一）
今天，小编主要为大家介绍一下：前嗅ForeSpider脚本中的标准对象：爬虫链接类url，urltext采集的所有状态及属性类，html标签节点类domItem和（html）dom类dom。具体内容如下：一.爬虫链接类urlurl类为ForeSpider采集链接地址类，描述了一个链接地址及如何采集的相关属性和操作。常用的属性是：urlname, title, entryid,...原创 2019-03-20 18:30:02 · 1389 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：标准对象（二）
今天，小编主要为大家介绍一下：前嗅ForeSpider脚本中的标准对象：采集文档类grabDoc，采集记录集类result，JavaScript操作类jScript、KeyForm操作类KeyForm，html标签属性类domAttr以及keySearch操作类keySearch。具体内容如下：一.采集文档类grabDocgrabDoc类为ForeSpider网页(或文件)的采集文...原创 2019-03-20 18:35:51 · 455 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：扩展对象（一）
今天，小编主要为大家介绍一下：前嗅ForeSpider脚本中的扩展对象：表单操作类schema，采集管理类extractor，采集频道类channel，以及频道模板类tmplTmpl。具体内容如下：一.表单操作类schemaschema类为表单操作类。1.类成员：2.成员方法：二.采集管理类extractorextractor类为采集引擎...原创 2019-03-25 15:20:35 · 398 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：扩展对象（二）
今天，小编主要为大家介绍一下：前嗅ForeSpider脚本中的扩展对象：链接抽取类tmplLink，链接过滤类tmplFilter，数据抽取类tmplData，模板字段类tmplVal。具体内容如下：一.链接抽取类tmplLinktmplLink类为ForeSpider模板的链接抽取操作类。用于控制模板的链接抽取操作。1.类成员：2.成员方法：二.链...原创 2019-03-25 15:25:39 · 450 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：频道脚本
今天，小编主要为大家介绍一下：前嗅ForeSpider脚本中的频道脚本。频道脚本是频道配置中的脚本, 如果配置了频道脚本，该频道的所有采集流程将被配置的脚本所接管。一.可用全局对象（只读）EXTRACT：当前采集引擎[ 对象类型:extractor]DATADB：当前连接的数据库[ 对象类型:dataBase]RESULT：当前结果集对象[ 对象类型:...原创 2019-03-25 15:32:26 · 318 阅读 · 0 评论 -
前嗅ForeSpider脚本教程：字段处理脚本
字段处理脚本用于清洗字段的取值。点击某个字段后，在字段处理的下拉菜单中选择脚本处理后，需要配置的脚本。这一步是通过脚本进一步清洗获取的数据。一.可用全局对象（只读）EXTRACT:当前采集引擎[ 对象类型:extractor]DATADB:当前连接的数据库[ 对象类型:dataBase]RESULT:当前结果集对象[ 对象类型:result]URL...原创 2019-04-03 09:29:06 · 724 阅读 · 0 评论 -
前嗅ForeSpider脚本教程-链接抽取：应用场景及链接在源码的html标签里写脚本
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程中，链接抽取的应用场景，以及链接在源码的html标签里写脚本的实战教程。具体内容如下：一.应用场景当需要手动添加链接时，可添加链接脚本。在“链接脚本处”，可能用到的类为extractor 、result、url、grabDoc、dom。二.链接在源码的html标签里链接地址可在源码中查找到。在目标网页右键，选择“查看...原创 2019-04-09 09:39:50 · 781 阅读 · 0 评论 -
万万没想到 ——五一去哪儿玩
大家好，我叫前大嗅，现在正在思考一个五一去哪儿玩的千古难题。本来想好好的出去玩四天，可是一想到五一各大景点的盛况，又感到莫名的忧伤。可是尽管如此，还是阻止不了我蠢蠢欲动的春游心。所以我打算用我超人的逻辑思维以及超前的爬虫系统，统计一下全国的景点情况，从而做一个既能够避开人海又能够好好玩耍的完美攻略。我打开了前嗅ForeSpdier爬虫系统，配置了爬取中国国内好玩又人少的...原创 2019-04-30 16:25:39 · 344 阅读 · 0 评论 -
如何用大数据在5分钟内完成一份行业报告，以果酒行业为例
果酒发展到今天，已经逐渐形成了其市场氛围，除葡萄酒仍旧占据主要市场外，其它类果酒，也占有一定的市场份额，大有异军突起之势。尤其夏天到了，不如来杯美味的果酒。你喜欢什么口味的果酒呢？现根据某电商网站数据，从销量、品牌、产品等角度，对除葡萄酒外其它类别果酒，做出以下分析。一销量分析1. 果酒类别与销量分析果酒行业品类众多，果酒市场差距明显。大数据显示，苹果酒以超过75...原创 2019-05-22 17:46:20 · 1270 阅读 · 0 评论 -
地震地图告诉你，地震带离你家有多远？危险指数最高的城市竟然是……
6月17日晚，10点55分。位于川、滇、黔三省交界的四川宜宾发生6.0级地震，震源深度16千米。截至6月18日，地震已造成12人死亡，125人受伤。让我们为四川同胞祈福，愿灾区人民一切安好。四川境内多次发生地震，为何这个区域地震如此频繁？从2013年甘孜藏族自治州白玉县地震到这次宜宾市长宁县地震，7年间，四川境内发生12次地震，为何这个区域地震如此频繁？中国地...原创 2019-06-19 09:18:43 · 2261 阅读 · 0 评论 -
致敬图灵，数说人工智能的前世今生
童话故事里，吃了毒苹果的白雪公主还能被王子救活，现实生活中，毒苹果带给我们的痛却无法抹去，65年前，我们伟大的“人工智能之父”艾伦·麦席森·图灵因为一个毒苹果永远的离开了这个世界，离开了他所热爱的人工智能事业。 6月23日是图灵先生的诞辰，所以嗅嗅今天想在这里和大家一起缅怀伟人，聊聊人工智能那些事儿~1.人工智能之父图灵，你真的了解吗？今天前嗅带您从多角度走近图灵，认识不一样的“人工智能之...原创 2019-06-21 09:28:06 · 858 阅读 · 1 评论 -
有哪些重点大学适合低分考生“捡漏”？看这篇文章就够了！
随着各地高考分数地陆续公布，很多高考生们正紧张的研究高考报志愿。高考是一场智慧与毅力的较量搏斗，无数案例证明，科学的志愿填报方案可以为孩子高考“加分”不少，甚至可以实现“低分高就”的奇迹。 以下是适合低分考生“捡漏”的重点大学，供大家参考。我国共有39所985院校，77所211院校，这116所重点大学一般来讲在本省都属于第一批次招生，考生填报的时候总是望而却步。 但是，以上12所重点大...原创 2019-06-26 10:12:54 · 1151 阅读 · 0 评论 -
小心手里的“饼干” 它会泄露你的隐私
刚才嗅嗅在搜索平台A上搜索了一个词，找到了想要的东西后，关闭了该搜索平台后，继续刷网页，当访问到网站B时，发现在网站B的广告栏里出现了刚刚搜索过的那个词的相关广告信息。嗅嗅就感到很奇怪，网站B是怎么知道嗅嗅想了解这个词的呢？研究了一下这个问题后，嗅嗅发现原来是“Cookie”这个小淘气告的密。这是因为搜索平台A和网站B都与同一家第三方广告公司合作，由第三方广告公司负责提供广告。当嗅嗅...原创 2019-04-19 17:44:20 · 1163 阅读 · 0 评论 -
大数据辟谣：布洛芬用药不慎可能致死？如此标题党居心何在？
相信很多人看到一则“布洛芬用药不慎可能致死”的消息后，内心开始慌乱了。（新闻来源：微博热搜排行榜）毕竟健康是每一个人最关注的话题，而布洛芬也是很多人止痛（发烧头痛、喉咙痛、牙痛、月经痛等）的最常用药物之一。甚至，很多人能好好活着，都是因为布洛芬的功劳。今日的这条微博热搜新闻，无疑是破灭了很多人认真活着的希望，带来了无止境的恐惧。正如广大网友所言，布洛芬是我每月的救命稻草；布洛芬是的...原创 2019-04-23 17:18:08 · 929 阅读 · 0 评论 -
前嗅ForeSpider脚本教程-链接抽取：链接在POST请求里写脚本
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程-链接抽取中，链接在POST请求里写脚本的实战教程。具体内容如下：当链接地址在源码中不存在，存在于post请求中时，需要使用浏览器的开发者工具来查找链接数据。1.链接需要循环场景：一组链接存在于JSON的某个数组中。示例：采集豆瓣电影，列表页的电影链接。查看源文件可知，源文件中只有一部分数据，而...原创 2019-04-12 16:50:22 · 617 阅读 · 0 评论 -
前嗅ForeSpider脚本教程-链接抽取：自定义链接写脚本
场景：当采集的链接不存在于任何位置，或者想要采集自定义的链接。示例：天猫商品评论的链接。商品评论的链接不在源码中，只能自己拼接评论链接。点击评论翻页，观察翻页规律。取其中某一链接地址在网页中查看请求返回信息。删除个别不一致的请求参数，观察结果是否变化。可得到最简链接地址。https://rate.tmall.com/list_detail_rate.htm?itemId=566...原创 2019-04-12 16:51:58 · 344 阅读 · 0 评论 -
前嗅ForeSpider脚本教程-链接抽取：链接在源码的js变量里写脚本
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程-链接抽取中，链接在源码的js变量里写脚本的实战教程。具体内容如下：链接地址可在源码中查找到。在目标网页右键，选择“查看源代码”，键盘点击“ctrl+F”，查找目标链接所在位置。目标链接存在于js变量中。1.链接需要循环场景：要抽取的一组链接都在源码中出现，集中分布。示例：获取今日头条热点新闻列表页链接查看列表...原创 2019-04-10 09:55:58 · 654 阅读 · 0 评论 -
【技术干货】老程序员亲绘漫画：1分钟读懂Session会话机制
昨日说起前嗅是996中的一股清流，可是前嗅没火，大师和圆仔却一夜之间就火了？很多人纷纷留言，要看这俩人互怼、讲故事其实，程虚圆和宫成师的原型真的来源于前嗅，漫画的前身为公司的老程序员和小实习生。老程序员经验丰富，小实习生积极认真，老程序员为了尽快把“圆仔”领进门，开始大开脑洞亲绘漫画，讲解技术干货。如大家所想看到的，俩人今天又开战了。大师：最近技术有进步吗？...原创 2019-04-26 15:34:53 · 396 阅读 · 1 评论 -
前嗅ForeSpider脚本教程-链接过滤脚本
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程-链接过滤脚本，应用场景，地址/标题过滤。具体内容如下：一.应用场景当可视化抽取到的链接包含不想要的链接地址时，需要进行过滤。可能用到的类是：string，使用到的全局对象是VALUE。二.地址过滤场景：链接地址有规律。示例：可视化配置百度搜索之后的链接抽取，过滤掉不是列表链接和翻页链接的所有链接。脚本实例...原创 2019-04-15 09:50:10 · 760 阅读 · 0 评论 -
前嗅教程：如何获取精准客源，提高销量
经常有人问嗅嗅，我是XX行业的，大数据能帮我做什么？可以给我带来客源吗？可以提高我的销量吗？可以增加我的利润吗？今天嗅嗅就以生鲜供货为例，为大家讲一讲外卖平台那些事~生鲜供货的客源除线下餐馆之外，随着外卖平台的兴起，外卖平台中的餐馆也很明显的构成了庞大的线上客源群体。这个庞大的客源有一个共同的特点—信息公开，包括餐厅名称、餐厅地址、联系方式等等。更重要的是，可以通过外卖平台精准定位所在城市...原创 2019-04-23 09:24:56 · 2853 阅读 · 0 评论 -
前嗅ForeSpider脚本教程-数据抽取脚本实战教程
今天，小编给大家带来的教程为：前嗅ForeSpider脚本教程-数据抽取脚本实战教程的，应用场景，数据在源码的html标签里写脚本。具体内容如下：一.应用场景当所需要的数据字段大部分需要配置脚本时，可将所有字段的抽取统一放在数据抽取脚本中。可能用到的类：DOM、EXTRACT。配置方法：选中数据抽取，点击“脚本窗口”，点击创建按钮。即可在新建的代码框内输入代码。二....原创 2019-04-16 13:10:21 · 1358 阅读 · 0 评论