将www.baidu.com的页面内容copy至index.html中
const http=require('https');
const fs=require('fs');
//发起服务器短的请求
http.get('https://www.baidu.com/', (res) => {
// console.log(res)
// console.log(res.statusCode)
const { statusCode } = res;//状态码
const contentType = res.headers['content-type'];//请求类型
console.log(contentType)
// new Error('你错了') 错误信息对象
let error;
if (statusCode !== 200) {
error = new Error('状态码不是200');
} else if (!/^text\/html/.test(contentType)) {
error = new Error('文件格式不对');
}
if (error) {
console.log(error.message);
// consume response data to free up memory
res.resume();// 清除请求缓存
return;
}
// 数据处理
res.setEncoding('utf8');
//设置数据的编码格式
let rawData = '';
res.on('data', (chunk) => {// 接受分段数据会触发 chunk 接受到的分段数据
rawData += chunk;
});
res.on('end', () => {
//接受信息完毕 会触发end 方法
fs.writeFileSync('./index.html',rawData)
});
})
.on('error', (e) => {
// 如果请求出错会触发error事件
console.error(`Got error: ${e.message}`);
});
可获取到url中的每个图片的src属性信息,着重查看 res.on(‘end’, () => {});
// 1. 获取网页的源代码
// 2. 对源代码进行分析 获取数据 字符 图片的地址 音乐的地址
const cheerio = require('cheerio')//引入模块
const http=require('https');
const fs=require('fs');
//发起服务器短的请求
http.get('https://www.qunar.com/', (res) => {
const { statusCode } = res;//状态码
const contentType = res.headers['content-type'];//请求类型
console.log(contentType)
let error;
if (statusCode !== 200) {
error = new Error('状态码不是200');
} else if (!/^text\/html/.test(contentType)) {
error = new Error('文件格式不对');
}
if (error) {
console.log(error.message);
// consume response data to free up memory
res.resume();// 清除请求缓存
return;
}
// 数据处理
res.setEncoding('utf8');
//设置数据的编码格式
let rawData = '';
res.on('data', (chunk) => {// 接受分段数据会触发 chunk 接受到的分段数据
rawData += chunk;
});
res.on('end', () => {
//接受信息完毕 会触发end 方法
// fs.writeFileSync('./index.html',rawData)
const $ = cheerio.load(rawData)
// 将一段满足html格式的字符串进行处理
$('img').each(function(index,el){
console.log($(this).attr('src'))
})
// 通过jq 的方式获取元素
});
})
.on('error', (e) => {
// 如果请求出错会触发error事件
console.error(`Got error: ${e.message}`);
});
通过每个图片的src属性将图片copy到指定的位置
// 下载图片原理
// 通过http 请求图片数据 然后将图片保存到本地
// let url='http://api.douban.com/v2/movie/top250?start=25&count=1';
const http=require('https');
const fs=require('fs');
//发起服务器短的请求
http.get('https://www.baidu.com/img/bd_logo.png', (res) => {
const { statusCode } = res;//状态码
const contentType = res.headers['content-type'];//请求类型
let error;
if (statusCode !== 200) {
error = new Error('状态码不是200');
}
if (error) {
console.log(error.message);
res.resume();
return;
}
// 数据处理
res.setEncoding('binary');//设置数据格式为二进制
//设置数据的编码格式
let rawData = '';
res.on('data', (chunk) => {
rawData += chunk;
});
res.on('end', () => {
console.log(rawData)
fs.writeFile('./test1.png',rawData,'binary',(err)=>{
if (err) {throw err}
console.log('下载ok')
})
});
})
.on('error', (e) => {
// 如果请求出错会触发error事件
console.error(`Got error: ${e.message}`);
});