Yustin-z-CSDN博客

原创 Scrapy-Redis分布式爬虫学习

Scrapy-Redis分布式爬虫组件scrapy是一个框架，它本身不支持分布式的。如果我们想要做分布式的爬虫，就需要借助一个组件叫做Scrapy - Redis,这个组件正是利用了Redis可以分布式的功能，集成到Scrapy框架中，使得爬虫进行分布式。可以充分的利用资源（多个ip、更多带宽、同步爬取）来提高爬虫的爬行效率。分布式爬虫的优点：可以充分利用多台机器的带宽。可以充分利用...

2020-04-16 10:23:23 225

原创 Scrapy框架知识

Scrapy框架架构：Scrapy框架介绍：写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制(更换IP代理、设置请求头等)、异步请求等。这些工作如果每次都要从零开始写，比较浪费时间。因此scrapy把一些基础的东西封装好了，在他上边写爬虫可以变得更加高效(爬取效率和开发效率)。Scrapy框架模块功能介绍：1.Scrapy Engine(引擎)：sc...

2020-04-09 16:28:07 14319

ProxyHanddler处理器(代理设置)很多网站会检测某一段时间某个ip的访问次数（通过流量统计、系统日志等），如果访问次数多的不像正常人，它会禁止这个ip访问。所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算ip被禁止，依然可以换个ip继续爬取。代理的原理：在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的网站的数据后，再转发给我们的代...

2020-04-09 16:21:40 428

原创 urllib库知识

urllib库：urllib库是Python中一个最基本的网络请求库，可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据urlopen函数：在Python3的urllib库中，所有和网络请求相关的方法，都被集中到urllib.request模块下，先看下urllib函数基本的使用：from urllib import requestresp = request...

2020-04-03 16:53:50 154

原创 vue中rem配置

rem配置 1.在app.vue中添加如下代码：document.addEventListener("DOMContentLoaded", () => { const html = document.querySelector("html"); let fontSize = window.innerWidth / 10; fontSize = fontSize &...

2019-12-30 10:54:43 264

原创 vue 中使用css-px2vw 单位转化插件

1.安装插件npm i postcss-px-to-viewport --save-dev2.在一级目录中新建**postcss.config.js**,然后在文件中添加以下代码 module.exports = { plugins: { autoprefixer: {}, "postcss-px-to-viewport": ...

2019-12-18 16:18:44 3933 1

原创格式化时间函数-js

export function formatDate(date, fmt) { if (/(y+)/.test(fmt)) { fmt = fmt.replace(RegExp.$1, (date.getFullYear() + '').substr(4 - RegExp.$1.length)); } let o = { 'M+': date.getMonth() +...

2019-12-13 14:17:03 315

原创 webpack配置vue错误解决

# 解决webpack打包vue出现[Vue warn]: You are using the runtime-only build of Vue where the template compiler is not available. Either pre-compile the templates into render functions, or use the compiler-incl...

2019-11-29 10:07:33 384

原创 swiper设置鼠标移入暂停播放，移出继续播放

var mySwiper=new Swiper('.swiper-container',{ speed:2000, autoplay:{ delay:2000, disableOnInteraction:false, }, loop:tr...

2019-11-21 10:34:55 4647

原创 MongoDB下载安装-windows

下载与安装官网地址：https://www.mongodb.com/download-center/community 百度云地址：https://pan.baidu.com/s/1aeazKrj-_r89MssoUHK1aQ 提取码：b5n9这个和普通安装软件exe一样，一直点下一步，中途改改安装路径以下是我安装的版本（3.6版）mongodb-win32-x86_64-2008...

2019-11-13 16:11:52 214

原创理解的闭包知识

创建闭包的常见方式：就是在一个函数里创建另一个函数(函数访问私有作用域)function fun(){ return function{ alert("hello"); } ...

2018-11-30 13:57:33 86

原创 js实现网页滚动时间

<!DOCTYPE html><html><head><meta charset="utf-8"> <title>获取当前时间</title></head><script type="text/javascript"> f

2018-07-22 21:30:25 2271

qq_35317287的博客