Node.js 使用http客户端向网站请求数据并保存

最新推荐文章于 2022-10-11 14:38:16 发布
最新推荐文章于 2022-10-11 14:38:16 发布
阅读量136 收藏
点赞数
文章标签： json javascript git ViewUI
原文链接：http://www.cnblogs.com/xiandedanteng/p/7534689.html
版权

app.js代码：

// 内置http模块，提供了http服务器和客户端功能
var http=require("http");

// 内置文件处理模块
var fs=require('fs');

// 创建一个将流数据写入文件的WriteStream对象
var outstream=fs.createWriteStream('./retval.html');

// 请求参数JSON
var options={
    hostname:'www.cnblogs.com',// 这里别加http://，否则会出现ENOTFOUND错误
        port:80,
        path:'/xiandedanteng',// 子路径
      method:'GET',
};

// 请求并获得数据
var req=http.request(options,function(resp){
    console.log('状态码resp.statusCode='+resp.statusCode);
    console.log('响应头resp.headers='+JSON.stringify(resp.headers));
    resp.setEncoding('utf8');

    resp.on('data',function(chunk){
        console.log('响应内容:'+chunk);

        outstream.write(chunk,'utf8');

        console.log('文件写入完毕。');
    });
});

// 超时处理
req.setTimeout(5000,function(){
    req.abort();
});

// 出错处理
req.on('error',function(err){
    if(err.code=="ECONNRESET"){
        console.log('socket端口连接超时。');
    }else{
        console.log('请求发生错误，err.code:'+err.code);
    }
});

// 请求结束
req.end();

 

获得的数据文件如下：

<!DOCTYPE html>
<html lang="zh-cn">
<head>
<meta charset="utf-8"/>
<meta name="viewport" content="width=device-width, initial-scale=1" />
<title>逆火狂飙 - 博客园</title>
<link type="text/css" rel="stylesheet" href="/bundles/blog-common.css?v=-wBWg2jMfLNV0-ScpDNxGkoH_gCbdW1yTVJLHzPL7HE1"/>
<link id="MainCss" type="text/css" rel="stylesheet" href="/skins/SimpleBlue/bundle-SimpleBlue.css?v=jJERBFSojhmgst84aaRDal9S3q1WoO-WcNudmMzGJS81"/>
<link id="mobile-style" media="only screen and (max-width: 768px)" type="text/css" rel="stylesheet" href="/skins/SimpleBlue/bundle-SimpleBlue-mobile.css?v=z0BacpCfWeLlXDCM0C158kTP_DMqMbGBapID4f-QztI1"/>
<link title="RSS" type="application/rss+xml" rel="alternate" href="http://www.cnblogs.com/xiandedanteng/rss"/>
<link title="RSD" type="application/rsd+xml" rel="EditURI" href="http://www.cnblogs.com/xiandedanteng/rsd.xml"/>
<link type="application/wlwmanifest+xml" rel="wlwmanifest" href="http://www.cnblogs.com/xiandedanteng/wlwmanifest.xml"/>
<script src="//common.cnblogs.com/script/jquery.js" type="text/javascript"></script>  
<script type="text/javascript">var currentBlogApp = 'xiandedanteng', cb_enable_mathjax=false;var isLogined=false;</script>
<script src="/bundles/blog-common.js?v=zLAewHCaOmEYGOn3iyM1yprOSNEWA2FkU2TsbgxrSSg1" type="text/javascript"></script>
</head>
<body>
<a name="top"></a>

<div id="home">
<div id="header">
    <div id="blogTitle">
        
<!--done-->
<div class="title"><a id="Header1_HeaderTitle" class="headermaintitle" href="http://www.cnblogs.com/xiandedanteng/">More Powerful</a></div>
<div class="subtitle">野生四张屌丝半调子curl程序员的逆袭</div>



        
    </div><!--end: blogTitle 博客的标题和副标题 -->
    <div id="navigator">
        
<ul id="navList">
<li id="nav_sitehome"></li>
<li id="nav_myhome"><a id="blog_nav_myhome" class="menu" href="http://www.cnblogs.com/xiandedanteng/">首页</a></li>
<li id="nav_newpost"><a id="blog_nav_newpost" class="menu" rel="nofollow" href="https://i.cnblogs.com/EditPosts.aspx?opt=1">新随笔</a></li>
<li id="nav_contact"><a id="blog_nav_contact" class="menu" rel="nofollow" href="https://msg.cnblogs.com/send/%E9%80%86%E7%81%AB%E7%8B%82%E9%A3%99">联系</a></li>
<li id="nav_rss"><a id="blog_nav_rss" class="menu" href="http://www.cnblogs.com/xiandedanteng/rss">订阅</a>
<!--<a id="blog_nav_rss_image" class="aHeaderXML" href="http://www.cnblogs.com/xiandedanteng/rss"><img src="//www.cnblogs.com/images/xml.gif" alt="订阅" /></a>--></li>
<li id="nav_admin"><a id="blog_nav_admin" class="menu" rel="nofollow" href="https://i.cnblogs.com/">管理</a></li>
</ul>

        <div class="blogStats">
            
            <div id="blog_stats">
<!--done-->
随笔-504&nbsp;
文章-0&nbsp;
评论-111&nbsp;
</div>
            
        </div><!--end: blogStats -->
    </div><!--end: navigator 博客导航栏 -->
</div><!--end: header 头部 -->
<div id="main">
    <div id="mainContent">
    <div class="forFlow">
        

<!--done-->

<div class="day">
    <div class="dayTitle">
        <a id="homepage1_HomePageDays_DaysList_ctl00_ImageLink" href="http://www.cnblogs.com/xiandedanteng/archive/2017/09/17.html">2017年9月17日</a>                  
    </div>
    
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl00_DayList_TitleUrl_0" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7534689.html">Node.js 使用http客户端向网站请求数据并显示</a>
            </div>
            <div class="postCon"><div class="cnblogs-post-body" id="postlist_postbody_7534689">正文内容加载中...</div><script type="text/javascript">getBlogPostBody(7534689);</script></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-17 08:42 逆火狂飙 阅读(0) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7534689" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
</div>

<div class="day">
    <div class="dayTitle">
        <a id="homepage1_HomePageDays_DaysList_ctl01_ImageLink" href="http://www.cnblogs.com/xiandedanteng/archive/2017/09/16.html">2017年9月16日</a>                  
    </div>
    
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl01_DayList_TitleUrl_0" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7533330.html">近来这些事</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: 8.21-8.26 Angularjs 8.27-9.8 Canvas 9.9- 9.12 Git，SpringBoot 9.13-9.16 Node.js<a href="http://www.cnblogs.com/xiandedanteng/p/7533330.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-16 22:54 逆火狂飙 阅读(2) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7533330" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
            <div class="postSeparator"></div>
        
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl01_DayList_TitleUrl_1" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7531609.html">Node.js 文件系统流pipe到Http响应流中</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: // 内置http模块，提供了http服务器和客户端功能（path模块也是内置模块，而mime是附加模块） var http=require(&quot;http&quot;); var fs=require(&quot;fs&quot;); var _dirname=&quot;./html&quot; // 创建服务器,创建HTTP服务器要调用http.createServer()函数，它只有一个参数，是个回调函数，服务器每次收到http请求后都会...<a href="http://www.cnblogs.com/xiandedanteng/p/7531609.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-16 16:07 逆火狂飙 阅读(1) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7531609" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
</div>

<div class="day">
    <div class="dayTitle">
        <a id="homepage1_HomePageDays_DaysList_ctl02_ImageLink" href="http://www.cnblogs.com/xiandedanteng/archive/2017/09/15.html">2017年9月15日</a>                  
    </div>
    
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl02_DayList_TitleUrl_0" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7529088.html">Node.js 使用angularjs取得Nodejs http服务端返回的JSON数组示例</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: server.js代码： 页面Angularjs代码：<a href="http://www.cnblogs.com/xiandedanteng/p/7529088.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-15 23:13 逆火狂飙 阅读(1) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7529088" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
            <div class="postSeparator"></div>
        
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl02_DayList_TitleUrl_1" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7529033.html">Node.js 使用jQuery取得Nodejs http服务端返回的JSON数组示例</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: server.js代码： 页面代码：<a href="http://www.cnblogs.com/xiandedanteng/p/7529033.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-15 22:59 逆火狂飙 阅读(0) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7529033" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
            <div class="postSeparator"></div>
        
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl02_DayList_TitleUrl_2" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7528665.html">Node.js 使用jQuery取得Nodejs http服务端返回的JSON对象示例</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: server.js代码： 页面jQuery代码：<a href="http://www.cnblogs.com/xiandedanteng/p/7528665.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-15 21:54 逆火狂飙 阅读(0) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7528665" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
            <div class="postSeparator"></div>
        
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl02_DayList_TitleUrl_3" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7526966.html">Node.js 本地Xhr取得Node.js服务端数据的例子</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: 本以为用XHR取Nodejs http出的一段文字很简单，因为xhr取值和nodejs http出文字都是好弄的，谁知一试不是这回事，中间有个关键步骤需要实现。 nodejs http出文字显示在浏览器很容易，但是头信息是不完整的，下面resp.writeHead一句的红字部分就是这个关键步骤。 服<a href="http://www.cnblogs.com/xiandedanteng/p/7526966.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-15 16:09 逆火狂飙 阅读(4) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7526966" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
            <div class="postSeparator"></div>
        
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl02_DayList_TitleUrl_4" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7525888.html">Node.js node主文件找不到时报出的Error:Cannot find module异常</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: 如果执行&gt;Node xx.js时，xx,js找不到的话，报出的错误是Error:Cannot find module &#39;c:/test/xx.js&#39; 主文件名打错或者是点号打成逗号都会出这样的错。<a href="http://www.cnblogs.com/xiandedanteng/p/7525888.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-15 13:06 逆火狂飙 阅读(3) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7525888" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
            <div class="postSeparator"></div>
        
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl02_DayList_TitleUrl_5" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7525228.html">Node.js 极简入门Helloworld版服务器例子</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: 粗浅得很，纯属备忘。 效果是：<a href="http://www.cnblogs.com/xiandedanteng/p/7525228.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-15 10:56 逆火狂飙 阅读(2) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7525228" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
</div>

<div class="day">
    <div class="dayTitle">
        <a id="homepage1_HomePageDays_DaysList_ctl03_ImageLink" href="http://www.cnblogs.com/xiandedanteng/archive/2017/09/14.html">2017年9月14日</a>                  
    </div>
    
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl03_DayList_TitleUrl_0" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7522928.html">浅滩</a>
            </div>
            <div class="postCon"></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-14 20:51 逆火狂飙 阅读(1) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7522928" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
</div>

<div class="topicListFooter"><div id="nav_next_page"><a href="http://www.cnblogs.com/xiandedanteng/default.html?page=2">下一页</a></div></div>


    </div><!--end: forFlow -->
    </div><!--end: mainContent 主体内容容器-->

    <div id="sideBar">
        <div id="sideBarMain">
            
            <div id="calendar"><div id="blog-calendar" style="display:none"></div><script type="text/javascript">loadBlogDefaultCalendar();</script></div>
            
            <div id="leftcontentcontainer">
                <div id="blog-sidecolumn"></div><script type="text/javascript">loadBlogSideColumn();</script>
            </div>
            
        </div><!--end: sideBarMain -->
    </div><!--end: sideBar 侧边栏容器 -->
    <div class="clear"></div>
    </div><!--end: main -->
    <div class="clear"></div>
    <div id="footer">
        
<!--done-->
Copyright &copy;2017 逆火狂飙
    </div><!--end: footer -->
</div><!--end: home 自定义的最大容器 -->
</body>
</html>

 

转载于:https://www.cnblogs.com/xiandedanteng/p/7534689.html

RabinRow
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
利用node.js的http模块制作一个get接口,并50%几率返回两种数据中的一种
laoli360的博客
09-13 188
文件目录如下: --nr (文件夹) ----data.json ----data1.json --laoli.js 图例 nr文件夹内放入以下内容 data和data1 两个json文件内如下书写~! { "data": "没有什么想说的.....", "message":"系统错误", "code": "500" } { "data": "一句你想说的话", "message":"请求成功", "code": "200" } 两个数据文件...
[Java Web]从服务器获取文件并保存（预览）本地客户端
知识共享，快乐分享
05-18 7277
一、使用场景 客户端请求服务器B保存某个文件到本地， 服务器B从远程服务器A中得到文件路径，服务器B通过拿到的文件路径，将文件处理后，客户端得到响应，实现保存文件在本地。二、思路代码 （这里以pdf文件为例子，服务器端B处理代码） //响应内容，这里在response中不设置contentType的话，在大多数（除IE外的浏览器）都是文件预览 re
怎么将服务器上的文件下载到本地电脑上
热门推荐
W1948730080的博客
08-19 2万+
常用的三种方法！ 1：在服务器上建立一个WEB网站，然后把要下载的文件压缩一下打包，再然后放到建好的WEB网站的根目录，然后网址再加一个打包的文件名就可以在本地下载了。这就是所说的在服务器上做一个下载点 2：在服务器上安装FTP的服务端，然后在本地的FTP客户端里下载文件 3：在服务器里进邮箱把文件传到邮箱里，然后在本地打开邮箱进去下载文件 原文：https://wap.zol.com.cn/...
java方法客户端下载服务器上的文件到本地
LWJdear的博客
06-03 6705
import java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import java.io.FileWriter; import java.io.IOException; import java.io.InputStream; import java.net.URL; impor
Node.js发送HTTP客户端请求并显示响应结果的方法示例
01-02
本文实例讲述了Node.js发送HTTP客户端请求并显示响应结果的方法。分享给大家供大家参考，具体如下： wget.js：发送HTTP客户端请求并显示响应的各种结果 options对象描述了将要发出的请求。 data事件在数据到达时被...
etch 异步请求库，用于浏览器和 node.js 的 HTTP 客户端.rar
06-05
axios介绍： 首先需要知道：axios不是...从 node.js 创建 http 请求 支持 Promise API 拦截请求和响应 转换请求数据和响应数据 取消请求 自动转换 JSON 数据 客户端支持防御 XSRF -----------------------------------
node-github-client:node.js 的 github 客户端
07-11
node.js 的 github api 特征 通过 oauth 令牌进行身份验证 获取拉取请求（所有页面！） 获得评论（所有页面！） 入门 npm install node-github-client 例子： var GithubClient = require('node-github-client')...
axios:基于Promise的HTTP客户端，用于浏览器和node.js
05-11
基于Promise的HTTP客户端，用于浏览器和node.js 新的axios docs网站： 目录 特征 从浏览器发出 从node.js发出请求 支持 API 拦截请求和响应 转换请求和响应数据 取消请求 JSON数据的自动转换 客户端支持以防 ...
Web项目之服务器、客户端存储
yifei_345678的博客
04-02 4206
点击进入,带你了解Session与Cookie
【Java】客户端读取指定文件夹下的文件，客户端传输多个文件给服务器端，服务器端接收文件并存储
qq_30885821的博客
10-28 995
参考： https://blog.csdn.net/u013943420/article/details/71159801 https://blog.csdn.net/huang930528/article/details/52401565 文件传输Server端： import java.io.DataInputStream; import java.io.File; import java.io.FileOutputStream; import java.math.RoundingMode; impor
nodejs的express使用全局拦截器保存用户请求和响应日志
unhejing的博客
04-13 1731
nodejs的express使用全局拦截器保存用户请求和响应日志 **前言**：为了记录用户的请求记录，想要记录用户的ip，请求入参，请求方法，以及返回内容，我使用中间件收集用户请求数据保存到数据库
Node.js- 2.请求响应原理及HTTP协议
qq_46204464的博客
10-29 313
服务器概念 简述 网站应用程序主要分为两大部分：客户端和服务器端。 客户端：在浏览器中运行的部分，就是用户看到并与之交互的界面程序。使用HTML、CSS、JavaScript构建。 服务器端：在服务器中运行的部分，负责存储数据和处理应用逻辑。 Node网站服务器 能够提供网站访问服务的机器就是网站服务器，它能够接收客户端的请求，能够对请求做出响应。 IP地址 互联网中设备的唯一标识。 IP是Internet Protocol Address的简写，代表互联网协议地址. 域名 由于IP地址
node.js02 -- 接收用户请求和返回数据
m0_64494670的博客
10-11 946
node.js02 -- 接收用户请求和返回数据
nodejs通过request请求远程url的文件并下载到本地
weixin_30462049的博客
10-29 1631
需要循环去下载远程文件，然后自己写了一个demo，可以直接运行，如下： //文件下载var fs = require("fs"); var path = require("path"); var request = require("request"); //创建文件夹目录var dirPath = path.join(__dirname, "file"); if (!fs.exis...
node中请求参数保存的位置
weixin_66664693的博客
05-08 242
node中请求参数保存的位置
nodejs抓取网页的源码，并保存到本地文件
u013742084的专栏
05-29 7102
var http = require('http') var fs = require('fs'); // 要抓取的网页地址 var url = 'http://www.imooc.com/learn/348' http.get(url, function(res) { var html = '' res.on('data', function(data) { html += data
Nodejs的实现文件传输保存
weixin_34234829的博客
01-02 1294
前言 最近在学习nodejs，分享一个比较常用的demo小案例,话不多说，直接上例子。 文件目录 大家按照左边的目录结构建立文件即可。 server_file.js const express = require('express') const bodyParser = require('body-parser') const multer = require('multer') const...
nodejs根据url下载图片存储到当前目录
Keep It Simple, Stupid
08-23 8546
nodejs根据url下载图片存储到当前目录 开发的过程中有时候需要一些图片资源，但是在浏览器上输入url一个一个的去下载太慢了 使用nodejs很简单就可以把它们下载到本地目录并且保存原始的名字 。模块安装： npm install request –save var request = require('request') var fs = require('fs')const imag
node.js中req.on监听微信客户端拿到的数据是什么
最新发布
09-24
在Node.js中，当我们需要监听微信客户端发来的数据时，通常会使用`req.on`方法来进行事件监听。具体而言，我们可以在服务器端使用以下代码来监听微信客户端发来的数据： ``` req.on('data', function(data) { // ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值