dart 爬取 妹子图 && 豆瓣影评

最新推荐文章于 2023-02-14 14:50:59 发布
最新推荐文章于 2023-02-14 14:50:59 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： Flutter 文章标签： Dart
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42117465/article/details/102796403
版权
本文介绍了使用Dart进行服务端爬虫实践，目标是爬取妹子图和豆瓣影评。通过http库发起请求，dom库解析HTML，image库下载图片。详细展示了代码实现，包括如何获取图片地址和设置referer以下载妹子图。
摘要由CSDN通过智能技术生成

代码

github

目的

dart 服务端爬虫实践

目标网站

使用库

  • http : 类似fetch的请求库

  • dom : 类似服务端的jquery,对请求到的HTML，筛选解析

  • image: 图片下载保存

功能

  • 解析目标网页，获取内容JSON

  • 下载目标图片

代码

妹子图

根据目标页面元素，获取图片地址

getImage([page = 1]) async {
  try {
    var headers = {
      'User-Agent':
          'Mozilla/5.0 (iPhone; C
最低0.47元/天 解锁文章
weixin_42117465
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy.dart:Scrapy，一种用于Dart和Flutter的快速高级Web爬网和抓取框架
05-19
刮y的 Scrapy，一种用于Dart和Flutter的快速高级Web爬网和抓取框架 入门 import 'package:scrapy/scrapy.dart' ; import 'package:html/parser.dart' as html; import 'package:http/http.dart' ; class Quote extends Item { String quote; Quote ({ this .quote}); @override String toString () { return "Quote : { quote : $ quote }" ; } @override Map < String> toJson () => { "quote" : quote == null
一天时间入门python爬虫，直接写一个爬虫案例，分享出来，很简单
Q2605894893的博客
12-02 2208
经过两天的摸索，终于写出了一个小小小爬虫。我的电脑是没有配置python环境的，所以首先要上官网下载python的环境文件。   点击点头指向的按钮，下载到桌面，它是一个这样的文件“python-3.6.5.exe”，下载成功后直接点击安装，安装成功后，那接下来就是配置环境变量啦。   嘻嘻~那我也跟着尝试一下，去发现我IDEA竟然这样.. 尴尬..............
在dart的console应用中，怎么从网络下载一张图，并且如果图的高度大于200像素，就把图的高度改成200...
最新发布
weixin_42590539的博客
02-14 65
在 Dart 中，可以使用 dart 的标准库中的 HTTP 包，从网络下载图片并对其进行处理。 以下是一个示例代码，实现了下载图片并将其高度限制为 200 像素的功能： import 'dart:io'; import 'dart:typed_data'; import 'dart:ui' as ui; void main() async { var url = 'https://exam...
如何快速读取页面html元素,dart – Flutter：获取HTML页面的某些元素
weixin_39535752的博客
06-04 440
我最近开始使用dart& amp;开发一个动物收容所应用程序.扑了一下,碰到了问题.这个想法是有一个捐赠页面,用户可以选择为狗狗购买食物.开放式脚手架将显示食物的图片,并从销售所述食物的网站和当前价格中获取一些数据.图像作为资产存储在本地,但我想从网站上获取至少价格,因此它始终是最新的.我按照flutter.io上的教程,但问题是http.get返回网站的整个代码,而不仅仅是我指定的部分(...
Flutter 全栈开发体验——爬虫与服务端
weixin_34247155的博客
06-15 1376
在学习或开发Flutter应用时，很多人会在app中硬编码很多假数据，用以调试界面，实际上我认为是完全没有必要的，Flutter使用Dart语言编程，而Dart语言作为一种全栈语言，其语法可以甩JavaScript几条街，我们是很有必要真正的将这种语言的能力发挥出来的。 这里我就讲讲如何使用Dart语言编写爬虫获取数据，如何使用Dart语言编写编写简单服务器后端。 Dart 爬虫开发 首先我们...
flutter-notes:使用Flutter UI工具包以Dart编写的简单＆美丽笔记记录应用程序
04-19
Notes是一个以隐私为导向，安全，美观，快速的应用程序，支持flutter，它支持各种功能，例如添加和保存笔记。... 为了使UI看起来很漂亮，它具有多种UI颜色，并支持浅色和黑色主题。 特征 创建和保存注释 ...
dart_native：使用Dart编写iOS＆Android代码。 该软件包将您从多余的粘合代码和Flutter Channel的低性能中解放出来
02-04
dart_native 使用Dart编写本机代码。 该软件包将您从本地代码和低性能通道中解放出来。 仍在开发中！！！ 这是下图中的蓝色部分（DartNative Bridge）： :mobile_phone_with_arrow: 需求 DartNative版本 要求 ...
dart_issue_polymer_angular2_cordova:将Dart与Polymer＆Angular2和Cordova一起使用时出现问题
05-17
dart_issue_polymer_angular2_cordova 在UIWebView（Cordova）下同时将Dart与Polymer＆Angular2结合使用时，出现了一个问题，首次JS编译时会出现白色的空白Webview，但是从一开始它就可以在移动浏览器中使用，即使...
Dart抓取：DART다트공가입수
02-10
DART공시파일입수 개요 오픈API FSS和DART API的下载。 DART列表：DART的XML格式的下载추출하여사的照片 饮食信息：饮食信息，插图종합정보를이터로바로바로활용 공정보공공공외보보보보 별별별별별별별별별별별https별별 （ ） 오픈의10,000건건。。。。다다다。 분당（접속100회이상）은스서비이이용이제한된다。 ，제，분당100내면내면내면IP가일정기간다。 그러나，일당万건（최소100분）의조회는연간약3천건이공시되는사업보고서와，약3만건이공시되는감사보고서를입수하기에는충분하다。 면들에게_ _면_면면면면면면면면면면면면면면면면면면면면면면면면면면면면1998。 오픈API의사음에다음에OpenDartReader를사용하는이유용하다。 （ ） 从披露到数据 오픈를오픈오픈오픈API보완한다。 첫번째，입수단위가입수단위리되어다
flutter持久化_Flutter爬虫框架开发，把爬虫放到手机上跑~
weixin_32652107的博客
01-05 842
最近做毕设需要大量数据训练模型，很多网站又要反爬机制，得爬一会停一会，所以特别慢，要是我用电脑24小时爬虫太费电了，于是想到利用手机~然后就想到flutter，安卓苹果旧手机都能利用起来做数据采集。ok，然后就开始做，折腾了一天做了一个大概的框架。总算可以方便的添加爬虫任务了，集成了配置、日志、数据持久化这些基本的功能，然后封装网络请求、网页解析的功能，用起来还行。只不过众所周知的，da...
Dart之旅
人生如梦
03-12 695
最近看见同学都这么努力，而我每天就是上班撸码，下班玩游戏，感觉自己也应该努力一点，做为一个大龄程序员，为了不必淘汰，必须要加强学习。Google出了个Flutter，像ReactNative一样，可以编写移动应用程序，于是决定学习一波，看了一天Dart官网的文档，决定写一篇博客加强记忆，这篇博文就是自己对官网文档的一个翻译。 文章目录基本的Dart程序重要概念Dart的关键字变量默认值Fina...
Dart: 解析html字符串
weixin_33961829的博客
05-24 3259
import 'package:http/http.dart' as http; import 'package:html/parser.dart' show parse; import 'package:html/dom.dart'; var response = await http.get('xxx.html'); Document document = parse(response.bo...
Flutter Dart中的集合浅拷贝和深拷贝
trues的博客
11-15 2万+
浅拷贝和深拷贝ListList初始化List取元素List 的浅拷贝List 的深拷贝场景实现后续 List List初始化 Dart语法中的array就是list ,list集合（也称为数组）所以没有Android中对应的array和list，也就没有对应的**toList()和toArray()**这个两个函数。 list初始化 var list =[]; List&lt;dynami...
新浪微博爬虫分享（一天可抓取 1300 万条数据）
谁说大象不能跳舞
02-04 2095
爬虫功能： 转载请注明出处，谢谢！（原文链接：http://blog.csdn.net/bone_ace/article/details/50903178）
Dart(flutter) json序列化 踩坑
热门推荐
秋月夜的博客
01-09 2万+
Dart(flutter) json序列化 踩坑 刚接触Dart，发请求返回json，进行序列化，官方给了方案，也给了推荐的工具，json_serializable。但是这个工具真的有坑！记录一下。 数据结构如下： {&amp;quot;jsonrpc&amp;quot;:&amp;quot;2.0&amp;quot;,&amp;quot;result&amp;quot;:&amp;quot;123&amp;quot;,&amp;quo
Dart入门—集合类型
weixin_34364135的博客
05-11 320
Dart入门—集合类型 Dart核心库提供了List（列表）、Map（映射）、Set（集）三种集合类型 列表（List） 固定长度的列表，一旦定义就无法改变长度 List<int> fixedLengthList = new List(5); fixedLengthList[0] = 87; ...
Dart语言基础，看完这篇文章就够了（一）
秃头老王的博客
04-14 5700
文章内容是我学习时的点滴笔记，如有不好的地方，欢迎指出。 1 变量 1.1 变量声明 var、dynamic、Object ①未初始化变量声明： 声明未初始化的变量是可以改变得。 void main() { var data; data = 1; data = "data"; dynamic data2; data2 = 1; data2 = "data2"; Ob...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值