Node.js 使用http客户端向网站请求数据并保存

最新推荐文章于 2022-10-11 14:38:16 发布
最新推荐文章于 2022-10-11 14:38:16 发布
阅读量200 收藏
点赞数
文章标签： javascript json git ViewUI
原文链接：https://yq.aliyun.com/articles/386524
版权

app.js代码：

复制代码 
// 内置http模块，提供了http服务器和客户端功能
var http=require("http");

// 内置文件处理模块
var fs=require('fs');

// 创建一个将流数据写入文件的WriteStream对象
var outstream=fs.createWriteStream('./retval.html');

// 请求参数JSON
var options={
    hostname:'www.cnblogs.com',// 这里别加http://，否则会出现ENOTFOUND错误
        port:80,
        path:'/xiandedanteng',// 子路径
      method:'GET',
};

// 请求并获得数据
var req=http.request(options,function(resp){
    console.log('状态码resp.statusCode='+resp.statusCode);
    console.log('响应头resp.headers='+JSON.stringify(resp.headers));
    resp.setEncoding('utf8');

    resp.on('data',function(chunk){
        console.log('响应内容:'+chunk);

        outstream.write(chunk,'utf8');

        console.log('文件写入完毕。');
    });
});

// 超时处理
req.setTimeout(5000,function(){
    req.abort();
});

// 出错处理
req.on('error',function(err){
    if(err.code=="ECONNRESET"){
        console.log('socket端口连接超时。');
    }else{
        console.log('请求发生错误，err.code:'+err.code);
    }
});

// 请求结束
req.end();
复制代码

 

获得的数据文件如下：

复制代码 
<!DOCTYPE html>
<html lang="zh-cn">
<head>
<meta charset="utf-8"/>
<meta name="viewport" content="width=device-width, initial-scale=1" />
<title>逆火狂飙 - 博客园</title>
<link type="text/css" rel="stylesheet" href="/bundles/blog-common.css?v=-wBWg2jMfLNV0-ScpDNxGkoH_gCbdW1yTVJLHzPL7HE1"/>
<link id="MainCss" type="text/css" rel="stylesheet" href="/skins/SimpleBlue/bundle-SimpleBlue.css?v=jJERBFSojhmgst84aaRDal9S3q1WoO-WcNudmMzGJS81"/>
<link id="mobile-style" media="only screen and (max-width: 768px)" type="text/css" rel="stylesheet" href="/skins/SimpleBlue/bundle-SimpleBlue-mobile.css?v=z0BacpCfWeLlXDCM0C158kTP_DMqMbGBapID4f-QztI1"/>
<link title="RSS" type="application/rss+xml" rel="alternate" href="http://www.cnblogs.com/xiandedanteng/rss"/>
<link title="RSD" type="application/rsd+xml" rel="EditURI" href="http://www.cnblogs.com/xiandedanteng/rsd.xml"/>
<link type="application/wlwmanifest+xml" rel="wlwmanifest" href="http://www.cnblogs.com/xiandedanteng/wlwmanifest.xml"/>
<script src="//common.cnblogs.com/script/jquery.js" type="text/javascript"></script>  
<script type="text/javascript">var currentBlogApp = 'xiandedanteng', cb_enable_mathjax=false;var isLogined=false;</script>
<script src="/bundles/blog-common.js?v=zLAewHCaOmEYGOn3iyM1yprOSNEWA2FkU2TsbgxrSSg1" type="text/javascript"></script>
</head>
<body>
<a name="top"></a>

<div id="home">
<div id="header">
    <div id="blogTitle">
        
<!--done-->
<div class="title"><a id="Header1_HeaderTitle" class="headermaintitle" href="http://www.cnblogs.com/xiandedanteng/">More Powerful</a></div>
<div class="subtitle">野生四张屌丝半调子curl程序员的逆袭</div>



        
    </div><!--end: blogTitle 博客的标题和副标题 -->
    <div id="navigator">
        
<ul id="navList">
<li id="nav_sitehome"></li>
<li id="nav_myhome"><a id="blog_nav_myhome" class="menu" href="http://www.cnblogs.com/xiandedanteng/">首页</a></li>
<li id="nav_newpost"><a id="blog_nav_newpost" class="menu" rel="nofollow" href="https://i.cnblogs.com/EditPosts.aspx?opt=1">新随笔</a></li>
<li id="nav_contact"><a id="blog_nav_contact" class="menu" rel="nofollow" href="https://msg.cnblogs.com/send/%E9%80%86%E7%81%AB%E7%8B%82%E9%A3%99">联系</a></li>
<li id="nav_rss"><a id="blog_nav_rss" class="menu" href="http://www.cnblogs.com/xiandedanteng/rss">订阅</a>
<!--<a id="blog_nav_rss_image" class="aHeaderXML" href="http://www.cnblogs.com/xiandedanteng/rss"><img src="//www.cnblogs.com/images/xml.gif" alt="订阅" /></a>--></li>
<li id="nav_admin"><a id="blog_nav_admin" class="menu" rel="nofollow" href="https://i.cnblogs.com/">管理</a></li>
</ul>

        <div class="blogStats">
            
            <div id="blog_stats">
<!--done-->
随笔-504&nbsp;
文章-0&nbsp;
评论-111&nbsp;
</div>
            
        </div><!--end: blogStats -->
    </div><!--end: navigator 博客导航栏 -->
</div><!--end: header 头部 -->
<div id="main">
    <div id="mainContent">
    <div class="forFlow">
        

<!--done-->

<div class="day">
    <div class="dayTitle">
        <a id="homepage1_HomePageDays_DaysList_ctl00_ImageLink" href="http://www.cnblogs.com/xiandedanteng/archive/2017/09/17.html">2017年9月17日</a>                  
    </div>
    
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl00_DayList_TitleUrl_0" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7534689.html">Node.js 使用http客户端向网站请求数据并显示</a>
            </div>
            <div class="postCon"><div class="cnblogs-post-body" id="postlist_postbody_7534689">正文内容加载中...</div><script type="text/javascript">getBlogPostBody(7534689);</script></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-17 08:42 逆火狂飙 阅读(0) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7534689" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
</div>

<div class="day">
    <div class="dayTitle">
        <a id="homepage1_HomePageDays_DaysList_ctl01_ImageLink" href="http://www.cnblogs.com/xiandedanteng/archive/2017/09/16.html">2017年9月16日</a>                  
    </div>
    
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl01_DayList_TitleUrl_0" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7533330.html">近来这些事</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: 8.21-8.26 Angularjs 8.27-9.8 Canvas 9.9- 9.12 Git，SpringBoot 9.13-9.16 Node.js<a href="http://www.cnblogs.com/xiandedanteng/p/7533330.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-16 22:54 逆火狂飙 阅读(2) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7533330" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
            <div class="postSeparator"></div>
        
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl01_DayList_TitleUrl_1" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7531609.html">Node.js 文件系统流pipe到Http响应流中</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: // 内置http模块，提供了http服务器和客户端功能（path模块也是内置模块，而mime是附加模块） var http=require(&quot;http&quot;); var fs=require(&quot;fs&quot;); var _dirname=&quot;./html&quot; // 创建服务器,创建HTTP服务器要调用http.createServer()函数，它只有一个参数，是个回调函数，服务器每次收到http请求后都会...<a href="http://www.cnblogs.com/xiandedanteng/p/7531609.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-16 16:07 逆火狂飙 阅读(1) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7531609" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
</div>

<div class="day">
    <div class="dayTitle">
        <a id="homepage1_HomePageDays_DaysList_ctl02_ImageLink" href="http://www.cnblogs.com/xiandedanteng/archive/2017/09/15.html">2017年9月15日</a>                  
    </div>
    
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl02_DayList_TitleUrl_0" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7529088.html">Node.js 使用angularjs取得Nodejs http服务端返回的JSON数组示例</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: server.js代码： 页面Angularjs代码：<a href="http://www.cnblogs.com/xiandedanteng/p/7529088.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-15 23:13 逆火狂飙 阅读(1) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7529088" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
            <div class="postSeparator"></div>
        
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl02_DayList_TitleUrl_1" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7529033.html">Node.js 使用jQuery取得Nodejs http服务端返回的JSON数组示例</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: server.js代码： 页面代码：<a href="http://www.cnblogs.com/xiandedanteng/p/7529033.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-15 22:59 逆火狂飙 阅读(0) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7529033" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
            <div class="postSeparator"></div>
        
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl02_DayList_TitleUrl_2" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7528665.html">Node.js 使用jQuery取得Nodejs http服务端返回的JSON对象示例</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: server.js代码： 页面jQuery代码：<a href="http://www.cnblogs.com/xiandedanteng/p/7528665.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-15 21:54 逆火狂飙 阅读(0) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7528665" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
            <div class="postSeparator"></div>
        
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl02_DayList_TitleUrl_3" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7526966.html">Node.js 本地Xhr取得Node.js服务端数据的例子</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: 本以为用XHR取Nodejs http出的一段文字很简单，因为xhr取值和nodejs http出文字都是好弄的，谁知一试不是这回事，中间有个关键步骤需要实现。 nodejs http出文字显示在浏览器很容易，但是头信息是不完整的，下面resp.writeHead一句的红字部分就是这个关键步骤。 服<a href="http://www.cnblogs.com/xiandedanteng/p/7526966.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-15 16:09 逆火狂飙 阅读(4) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7526966" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
            <div class="postSeparator"></div>
        
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl02_DayList_TitleUrl_4" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7525888.html">Node.js node主文件找不到时报出的Error:Cannot find module异常</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: 如果执行&gt;Node xx.js时，xx,js找不到的话，报出的错误是Error:Cannot find module &#39;c:/test/xx.js&#39; 主文件名打错或者是点号打成逗号都会出这样的错。<a href="http://www.cnblogs.com/xiandedanteng/p/7525888.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-15 13:06 逆火狂飙 阅读(3) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7525888" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
            <div class="postSeparator"></div>
        
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl02_DayList_TitleUrl_5" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7525228.html">Node.js 极简入门Helloworld版服务器例子</a>
            </div>
            <div class="postCon"><div class="c_b_p_desc">摘要: 粗浅得很，纯属备忘。 效果是：<a href="http://www.cnblogs.com/xiandedanteng/p/7525228.html" class="c_b_p_desc_readmore">阅读全文</a></div></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-15 10:56 逆火狂飙 阅读(2) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7525228" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
</div>

<div class="day">
    <div class="dayTitle">
        <a id="homepage1_HomePageDays_DaysList_ctl03_ImageLink" href="http://www.cnblogs.com/xiandedanteng/archive/2017/09/14.html">2017年9月14日</a>                  
    </div>
    
            <div class="postTitle">
                <a id="homepage1_HomePageDays_DaysList_ctl03_DayList_TitleUrl_0" class="postTitle2" href="http://www.cnblogs.com/xiandedanteng/p/7522928.html">浅滩</a>
            </div>
            <div class="postCon"></div>
            <div class="clear"></div>
            <div class="postDesc">posted @ 2017-09-14 20:51 逆火狂飙 阅读(1) 评论(0)  <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=7522928" rel="nofollow">编辑</a></div>
            <div class="clear"></div>
        
</div>

<div class="topicListFooter"><div id="nav_next_page"><a href="http://www.cnblogs.com/xiandedanteng/default.html?page=2">下一页</a></div></div>


    </div><!--end: forFlow -->
    </div><!--end: mainContent 主体内容容器-->

    <div id="sideBar">
        <div id="sideBarMain">
            
            <div id="calendar"><div id="blog-calendar" style="display:none"></div><script type="text/javascript">loadBlogDefaultCalendar();</script></div>
            
            <div id="leftcontentcontainer">
                <div id="blog-sidecolumn"></div><script type="text/javascript">loadBlogSideColumn();</script>
            </div>
            
        </div><!--end: sideBarMain -->
    </div><!--end: sideBar 侧边栏容器 -->
    <div class="clear"></div>
    </div><!--end: main -->
    <div class="clear"></div>
    <div id="footer">
        
<!--done-->
Copyright &copy;2017 逆火狂飙
    </div><!--end: footer -->
</div><!--end: home 自定义的最大容器 -->
</body>
</html>
复制代码

 













本文转自张昺华-sky博客园博客，原文链接：http://www.cnblogs.com/xiandedanteng/p/7534689.html，如需转载请自行联系原作者


weixin_34122604
关注
[Java Web]从服务器获取文件并保存（预览）本地客户端
知识共享，快乐分享
05-18 7342
一、使用场景 客户端请求服务器B保存某个文件到本地， 服务器B从远程服务器A中得到文件路径，服务器B通过拿到的文件路径，将文件处理后，客户端得到响应，实现保存文件在本地。二、思路代码 （这里以pdf文件为例子，服务器端B处理代码） //响应内容，这里在response中不设置contentType的话，在大多数（除IE外的浏览器）都是文件预览 re
利用node.js的http模块制作一个get接口,并50%几率返回两种数据中的一种
laoli360的博客
09-13 209
文件目录如下: --nr (文件夹) ----data.json ----data1.json --laoli.js 图例 nr文件夹内放入以下内容 data和data1 两个json文件内如下书写~! { "data": "没有什么想说的.....", "message":"系统错误", "code": "500" } { "data": "一句你想说的话", "message":"请求成功", "code": "200" } 两个数据文件...
java方法客户端下载服务器上的文件到本地
LWJdear的博客
06-03 6786
import java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import java.io.FileWriter; import java.io.IOException; import java.io.InputStream; import java.net.URL; impor
【Java】客户端读取指定文件夹下的文件，客户端传输多个文件给服务器端，服务器端接收文件并存储
qq_30885821的博客
10-28 1040
参考： https://blog.csdn.net/u013943420/article/details/71159801 https://blog.csdn.net/huang930528/article/details/52401565 文件传输Server端： import java.io.DataInputStream; import java.io.File; import java.io.FileOutputStream; import java.math.RoundingMode; impor
怎么将服务器上的文件下载到本地电脑上
热门推荐
W1948730080的博客
08-19 2万+
常用的三种方法！ 1：在服务器上建立一个WEB网站，然后把要下载的文件压缩一下打包，再然后放到建好的WEB网站的根目录，然后网址再加一个打包的文件名就可以在本地下载了。这就是所说的在服务器上做一个下载点 2：在服务器上安装FTP的服务端，然后在本地的FTP客户端里下载文件 3：在服务器里进邮箱把文件传到邮箱里，然后在本地打开邮箱进去下载文件 原文：https://wap.zol.com.cn/...
Node.js发送HTTP客户端请求并显示响应结果的方法示例
10-20
在Node.js中，发送HTTP客户端请求是通过内置的`http`模块实现的。这个模块提供了创建客户端请求的方法，使得Node.js应用能够与Web服务器进行通信。以下是对标题和描述中涉及的知识点的详细说明： 1. **引入http模块...
node-github-client:node.js 的 github 客户端
07-11
node.js 的 github api 特征 通过 oauth 令牌进行身份验证 获取拉取请求（所有页面！） 获得评论（所有页面！） 入门 npm install node-github-client 例子： var GithubClient = require('node-github-client')...
etch 异步请求库，用于浏览器和 node.js 的 HTTP 客户端.rar
最新发布
06-05
axios介绍： 首先需要知道：axios不是...从 node.js 创建 http 请求 支持 Promise API 拦截请求和响应 转换请求数据和响应数据 取消请求 自动转换 JSON 数据 客户端支持防御 XSRF -----------------------------------
Node.js-axios基于Promise的HTTP客户端用于浏览器和node.js
08-09
2. **自动转换请求和响应数据**：axios会自动将JSON数据转换为JavaScript对象，并且允许自定义转换规则。 3. **取消请求**：axios提供了取消请求的功能，通过`CancelToken`接口可以在请求发出后取消未完成的请求。 ...
Web项目之服务器、客户端存储
yifei_345678的博客
04-02 5476
点击进入,带你了解Session与Cookie
NodeJS学习之网络操作
aby2106的博客
10-25 170
NodeJS -- 网络操作 使用NodeJS内置的http模块简单实现HTTP服务器 var http = require('http'); http.createServer(function(req, res) { res.writeHead(200, {'Content-Type': 'text/html'}); res.end('Hello wor...
Node.js_express_浏览器存储技术 Cookie（服务器将少量数据交于浏览器存储管理）...
aof26372的博客
12-24 146
浏览器存储技术 Cookie 服务器将少量数据交于浏览器存储管理 解决 http 无状态协议的问题（无法区分多次请求是否发送自同一客户端） 一个网页一般最多 20个的 cookie，每个 cookie 一般 4KB 第一次访问 url，服务器会创建一个 Cookie 给浏览器 浏览器会保存 Cookie，以后每次请求，都会携带所有 Cookie，一并发送给服务器 登录 C...
nodejs将本地文件写入服务器,学习笔记：用Nodejs搭建一个简单的本地服务器
weixin_34351588的博客
08-10 647
目标向一个input输入框，将value通过ajax的get/post方法传到服务器，服务器再返回一个值。实现我们需要一个HTTP服务器对于不同的请求，根据请求的URL，我们的服务器需要给予不同的响应，因此我们需要一个路由，用于把请求对应到请求处理程序(request handler)当请求被服务器接收并通过路由传递之后，需要可以对其进行处理，因此我们需要最终的请求处理程序我们需要从html文件里...
nodejs 上传文件到服务器,关于node.js:NodejsExpress后端实现上传文件并保存到数据库...
weixin_28856717的博客
08-10 1017
NodeJS全栈开发之后端实现上传文件性能并保留到Mysql数据库装置第三方插件multernpm i –save multer创立上传接口文件upload.jsvar createFolder = function(folder){try{fs.accessSync(folder);}catch(e){fs.mkdirSync(folder);}};var uploadFolder = ‘./u...
Node.js笔记（八）向服务器post数据
空気力学少女の诗
04-12 1140
要做网站，向服务器提交请求肯定是避不过去的 要搞清在页面文本框里输入的字符是怎么变成服务器端字符串里的内容，并不是很容易 是的，我们知道用form，但form是怎么工作的（写到这里的时候我又忘了=。=赶紧再回去看看）使用node.js创建服务器的时候，最熟悉的代码：var server = http.createServer(function(req,res){ //To Do SomeThin
nodejs的express使用全局拦截器保存用户请求和响应日志
unhejing的博客
04-13 1986
nodejs的express使用全局拦截器保存用户请求和响应日志 **前言**：为了记录用户的请求记录，想要记录用户的ip，请求入参，请求方法，以及返回内容，我使用中间件收集用户请求数据保存到数据库
Node.js- 2.请求响应原理及HTTP协议
qq_46204464的博客
10-29 351
服务器概念 简述 网站应用程序主要分为两大部分：客户端和服务器端。 客户端：在浏览器中运行的部分，就是用户看到并与之交互的界面程序。使用HTML、CSS、JavaScript构建。 服务器端：在服务器中运行的部分，负责存储数据和处理应用逻辑。 Node网站服务器 能够提供网站访问服务的机器就是网站服务器，它能够接收客户端的请求，能够对请求做出响应。 IP地址 互联网中设备的唯一标识。 IP是Internet Protocol Address的简写，代表互联网协议地址. 域名 由于IP地址
node.js02 -- 接收用户请求和返回数据
m0_64494670的博客
10-11 1000
node.js02 -- 接收用户请求和返回数据
Node.js HTTP客户端实战与性能测试
在Node.js中使用axios可以非常方便地发送HTTP请求，并处理返回的响应。 4. 使用fetch API（仅限于支持环境）： fetch API提供了一个JavaScript接口用于访问和操作HTTP请求，这是一个在浏览器环境中广泛支持的API。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值