![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
配置与安装
MXuDong
假如有一天我变成了流氓,请告诉别人我曾经纯真过!
展开
-
Python爬虫scrapy框架Cookie池(微博Cookie池)的使用
下载代码Cookie池(这里主要是微博登录,也可以自己配置置其他的站点网址)下载代码GitHub:https://github.com/Python3WebSpider/CookiesPool下载安装过后注意看网页下面的相关基础配置和操作!!!!!!!!!!!!! 自己的设置主要有下面几步:1、配置其他设置2、设置使用的浏览器3、设置模拟登陆源码...原创 2018-07-08 12:04:52 · 14087 阅读 · 0 评论 -
Github(windows)创建仓库(后附:上传个人项目,Git常用命令查询)和配置本地ssh key
创建Github用户并配ssh 参考:https://blog.csdn.net/lucky_lxg/article/details/77849212 (很详细,从安装git到创建项目再到上传个人项目到git!)https://blog.csdn.net/Asuna_Yu/article/details/80174011 (当本地项目修改后更新到远程仓库!)https://blog...原创 2018-11-17 17:52:58 · 467 阅读 · 0 评论 -
redis在window和linux和ubuntu下的安装
Redis 安装参考:https://blog.csdn.net/scutjcfeng/article/details/80035121 (包含配置) https://blog.csdn.net/u012036171/article/details/47850575 Window 下安装下载地址:https://github.com/MSOpenTech/red...原创 2018-08-08 22:58:14 · 133 阅读 · 0 评论 -
selenium框架安装与使用(基本操作)——爬虫(selenium测试框架)
1、安装selenium:2、下载浏览器驱动并放在python环境中(此处为火狐浏览器)下载的推荐地址:https://blog.csdn.net/zhu940923/article/details/78105744 selenium测试框架在爬虫中的应用 网页中通过js渲染的数据,爬虫的解决办法: ...原创 2018-06-23 17:01:53 · 371 阅读 · 0 评论 -
PySpider爬虫框架介绍与phantomjs的安装
pyspider的介绍PySpider是一种爬虫框架,基于PyQuery实现的。一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器,优势: 1. 基于多线程异步的调度方式;可实现爬虫的高并发爬取,注意使用代理。 2. 它提供了一个WebUI的爬虫...原创 2018-06-14 20:05:06 · 5190 阅读 · 0 评论 -
Mango(MongoDB)安装与配置
安装 可以自定义数据存放地址 如下:官网下载(Mango官网:https://www.mongodb.com/download-center#community ) 安装:(注意:a.安装第二步>选择第二个 custom! b.注意安装位置,后面需要使用!)安装过程比较慢,如果卡的时间较长,可以进入任务管理器关闭安装程序(查看安装路径下是否含有man...原创 2018-06-07 21:53:11 · 6094 阅读 · 1 评论 -
Python爬虫安装scrapy以及创建scrapy爬虫项目
第一步:安装Python虚拟环境并创建scrapy(注意:尽量不要创建在C盘,scrapy仅仅是示例名字)安装虚拟环境相关博客:点击打开链接第二步:进入scrapy安装相应的文件: pip install....,如果有包的话也可以直接放进来!,如图:第三步:安装pypiwin32(注意:运行scrapy的时候,如果没有安装pypiwin32,会出异常。)如果出现下面的需要单独安装红色部分:pip...原创 2018-07-03 21:29:18 · 598 阅读 · 0 评论 -
Python的虚拟环境的安装与配置
安装Python的虚拟环境的安装与配置1.下载virtualenvwrapper-win 包2.输入workon命令查看是否可用(可以关闭一次cmd窗口然后再打开操作) 3.使用virtualenvwrapper创建虚拟环境默认放在C:\Users\Administrator\Envs目录中可以修改存放的路径:找到系统环境变量,添加WORKON_HOME为指定路径即可 运行workon,目录...原创 2018-07-03 20:52:14 · 281 阅读 · 0 评论 -
搭建Python jupyter环境
搭建Python jupyter环境在安装 Python Jupyter环境之前需要先安装Python环境如果是简单的使用不需要那么多配置:1.安装:pip install jupyter 2.启动:jupyter notebook下面是详细的配置(下面的我没做过,我用的就是上面简单的)1.安装Python2和Python3环境,并安装 virtualvenv.2.安装...原创 2018-11-18 16:09:24 · 551 阅读 · 0 评论