2018年09月_cf313995

12月 11月 10月 09月

原创 scrapy入门教程()Gerapy分布式爬虫管理框架

一、介绍：Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发等。在爬虫方面Gerapy 可以帮助我们：①更方便地控制爬虫运行②更直观地查看爬虫状态③更实时地查看爬取结果④更简单地实现...

2018-09-28 19:52:58 962

原创 scrapy入门教程(三)scrapy相关组件

前面两步的准备工作完成之后，我们先不要着急开始工作，毕竟作为一个框架，还是很复杂的；贸然上手开整，很容易陷入懵逼状态啊！一团浆糊，理不清思路，后面的事情做起来很很麻烦啦！我们来看看下面这张图：这是scrapy官方文档1.5.1(此网站最好fp查看)提供的架构图。(1)引擎(Engine)引擎负责控制数据流在系统所有组件中流动，并在相应动作发生时触发事件。你可以理解为我们人的身体。(...

2018-09-28 10:20:27 558 1

原创 scrapy入门教程()部署爬虫项目

scrapyd部署爬虫项目scrapyd介绍scrapyd安装scrapyd部署1、scrapyd介绍它就相当于是一个服务器，用于将自己本地的爬虫代码，打包上传到服务器上，让这个爬虫在服务器上运行，可以实现对爬虫的远程管理(远程启动爬虫，远程关闭爬虫，远程查看爬虫的一些日志等)。2、scrapyd安装使用命令pip install scrapyd进行安装即可。此处安装的版...

2018-09-27 20:44:32 1453 1

原创 scrapy入门教程（二）安装和项目搭建

一、安装scrapy框架。List item1、输入workon命令，进入已经设置好的一个虚拟环境。2、安装scrapy框架。即pip install scrapy3、如遇到如下报错信息，进入：https://www.lfd.uci.edu/~gohlke/pythonlibs/#scipy 下载Twisted库的wheel文件。5、根据自己的python环境选择合适的版本下...

2018-09-26 21:37:19 310

原创 scrapy入门教程（一）虚拟环境的搭建

1、安装virtualenvwrapper-win 包。使用命令pip install virtualenvwrapper-win2、输入workon命令查看是否可用。此时找不到文件是正常的，因为我们还没有开始创建虚拟环境。3、开始创建虚拟环境。使用命令mkvirtualenv py3scrapy创建一个叫做py3scrapy的虚拟环境。默认放在C:\Users\Administrat...

2018-09-26 20:48:14 827

原创 selenium基础知识点总结

MongoDB 4.0的安装(windows)1.MongoDB的下载(1)进入MongoDB官网https://www.mongodb.com/(2)点击get MongoDB(3)点击Community Server，选择windows，点击all version Binaries(4)这里我选择4.0版本的.msi安装程序进行下载，然后耐心等待即可。2.MongoD...

2018-09-18 22:56:10 1952 1

原创 Windows下安装mysql8.0.12数据库与Navicat for mysql教程（详细过程附截图）

mysql数据库以及管理工具Navicat for Mysql的安装Mysql数据库的安装比较简单，但其卸载却比较麻烦。不管是使用用第三方的电脑管家，亦或是是用控制面板的程序和功能，想要完全卸载Mysql都不太方便，下面介绍下如何简单的即可卸载干净Myql数据库的各个组件。1. Mysql数据库的下载。去mysql官方地址下载。下载地址：https://www.mysq...

2018-09-12 12:41:19 9090 16

原创卸载mysql数据库（详细过程附截图）

如何完全卸载mysql数据库Mysql数据库的安装比较简单，但其卸载却比较麻烦。不管是使用用第三方的电脑管家，亦或是是用控制面板的程序和功能，想要完全卸载Mysql都不太方便，下面介绍下如何简单的即可卸载干净Myql数据库的各个组件。1. 双击msql数据库的.msi安装文件，双击打开安装界面。2. 找打remove选项。3.勾选全部，点击execute执行。...

2018-09-11 22:56:37 5776

kylin下nfs-ganesha的4.4版本的rpm，包含ENABLE-VFS-POSIX-ACL=ON，不包含ceph

[root@fs242 rpmbuild]# tree 4.4/ 4.4/ ├── aarch64 │ ├── libntirpc-4.3-0.1.ky10.aarch64.rpm │ ├── libntirpc-devel-4.3-0.1.ky10.aarch64.rpm │ ├── nfs-ganesha-4.4-0.1.ky10.aarch64.rpm │ ├── nfs-ganesha-debuginfo-4.4-0.1.ky10.aarch64.rpm │ ├── nfs-ganesha-debugsource-4.4-0.1.ky10.aarch64.rpm │ ├── nfs-ganesha-gpfs-4.4-0.1.ky10.aarch64.rpm │ ├── nfs-ganesha-mem-4.4-0.1.ky10.aarch64.rpm │ ├── nfs-ganesha-mount-9P-4.4-0.1.ky10.aarch64.rpm │ ├── nfs-ganesha-nullfs-4.4-0.1.ky10.aarch64.

2024-05-20

龙蜥下nfs-ganesha的4.4版本的rpm，包含ENABLE-VFS-POSIX-ACL=ON，不包含ceph

[root@AnolisOS8 rpmbuild]# tree 4.4/ 4.4/ ├── noarch │?? └── nfs-ganesha-selinux-4.4-0.1.an8.noarch.rpm └── x86_64 ├── libntirpc-4.3-0.1.an8.x86_64.rpm ├── libntirpc-debuginfo-4.3-0.1.an8.x86_64.rpm ├── libntirpc-devel-4.3-0.1.an8.x86_64.rpm ├── nfs-ganesha-4.4-0.1.an8.x86_64.rpm ├── nfs-ganesha-debuginfo-4.4-0.1.an8.x86_64.rpm ├── nfs-ganesha-debugsource-4.4-0.1.an8.x86_64.rpm ├── nfs-ganesha-gpfs-4.4-0.1.an8.x86_64.rpm ├── nfs-ganesha-gpfs-debuginfo-4.4-0.1.an8.

2024-05-20

nfs-ganesha在centos8下的4.4版本rpm包，包含ENABLE-VFS-POSIX-ACL=ON，不包含ceph

内容 └── RPMS ├── noarch │ └── nfs-ganesha-selinux-4.4-0.1.el8.noarch.rpm └── x86_64 ├── libntirpc-4.3-0.1.el8.x86_64.rpm ├── libntirpc-debuginfo-4.3-0.1.el8.x86_64.rpm ├── libntirpc-devel-4.3-0.1.el8.x86_64.rpm ├── nfs-ganesha-4.4-0.1.el8.x86_64.rpm ├── nfs-ganesha-debuginfo-4.4-0.1.el8.x86_64.rpm ├── nfs-ganesha-debugsource-4.4-0.1.el8.x86_64.rpm ├── nfs-ganesha-gpfs-4.4-0.1.el8.x86_64.rpm

2024-05-17

openssh-9.3和openssl1,1在centos7下的rpm

包含 openssh-9.3p1-1.el7.x86_64.rpm openssh-clients-9.3p1-1.el7.x86_64.rpm openssh-server-9.3p1-1.el7.x86_64.rpm openssl-1.1.1t-1.el7.x86_64.rpm openssl-devel-1.1.1t-1.el7.x86_64.rpm perl-WWW-Curl-4.15-13.el7.x86_64.rpm

2023-04-17

go多版本管理工具g

2020-12-18

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人