js 抓取网页数据

js抓取网页数据,其实很简单,没那么复杂,需要使用3个函数配合使用:

  1. indexOf 返回某个指定的字符串值在字符串中首次出现的位置
  2. lastIndexOf 返回一个指定的字符串值最后出现的位置
  3. substring 提取字符串中介于两个指定下标之间的字符

简单来说就是 获取元素的开始位置、结束位置,然后进行提取,得到结果。

一、获取网页数据在这里插入图片描述

在这里插入图片描述

二、封装提取数据的方法

		getAlarms(val,later,before){
				var alarm=val;
				//某个指定字符之后
				var index=alarm.indexOf(later);
				alarm=alarm.substring(index+1,alarm.length);
				
				//某个指定字符之前
				index=alarm.lastIndexOf(before);
				alarm=alarm.substring(0,index);

				return alarm  
		},

三、多条数据提取(有规律的)

在这里插入图片描述
在这里插入图片描述

			//去除空数组
			removerNull(arr){
				for(var i = 0;i<arr.length;i++){
				    if(arr[i]==''||arr[i]==null||typeof(arr[i])==undefined){
				        arr.splice(i,1);
				        i=i-1;
				    }
				}
				return arr;
			},
			//某个元素之后,某个元素之前
			getlaterAndbefore2(val,later,before){
				var alarm=val;
				//某个指定字符之后
				var index=alarm.indexOf(later);
				alarm=alarm.substring(index,alarm.length);
			
				//某个指定字符之前
				index=alarm.indexOf(before);
				alarm=alarm.substring(0,index);
				return alarm  
			},
			//某个元素之后 +1
			getlater1(val,later){
				var alarm=val;
				//某个指定字符之后
				var index=alarm.indexOf(later);
				alarm=alarm.substring(index+1,alarm.length);
				return alarm  
			},

效果我就不演示了,拜

  • 4
    点赞
  • 32
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
当涉及到爬取网页数据时,有几种常见的方法和工具可以使用。以下是一个简单的教程,介绍了一种常见的爬取网页数据的方法: 1. 选择合适的编程语言:爬取网页数据通常需要使用编程语言来编写代码。常见的选择包括Python、Java和JavaScript等。其中,Python是最受欢迎的语言之一,因为它有许多强大的库和框架可以用于爬虫开发。 2. 安装必要的库和工具:对于Python来说,你可以使用一些流行的库来进行网页数据爬取,例如Requests、BeautifulSoup和Scrapy等。你可以使用pip命令来安装这些库。 3. 发送HTTP请求:使用HTTP请求库(如Requests)发送HTTP请求到目标网页。你可以发送GET请求获取网页内容,或者发送POST请求提交表单数据。 4. 解析网页内容:使用HTML解析库(如BeautifulSoup)解析网页内容。这样你就可以提取出你感兴趣的数据,例如标题、链接、文本等。 5. 存储数据:将提取到的数据存储到合适的地方,例如数据库、CSV文件或者Excel表格中。 6. 处理反爬机制:有些网站可能会采取反爬机制,例如限制访问频率、验证码等。你可能需要使用代理IP、用户代理、验证码识别等技术来绕过这些限制。 7. 遵守法律和道德规范:在进行网页数据爬取时,务必遵守相关的法律和道德规范。尊重网站的隐私政策和使用条款,并确保你的爬虫行为不会对网站造成过大的负担。 希望以上教程对你有所帮助!如果你有任何进一步的问题,请随时提问。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值