基于djang、vue、scrapy-redis、高德地图的豆瓣租房租房信息爬取、存储、可视化综合项目

1、scrapy-redis部分 这里主要是用分布式爬虫爬取所有的豆瓣租房信息,然后去重、存数据库(MySQL)。使用分布式的好处是爬取快,可以分布在多台机器上爬取;然后redis可以结合django使用,做到在前台点击一下按钮就可以更新redis键值,从而使scrapy-redis继续爬取最新租...

2018-10-31 22:03:40

阅读数 376

评论数 0

vue 局部刷新某个data元素

<template> <div class="icontent"> <div class="one_question&...

2018-10-21 12:51:06

阅读数 1317

评论数 0

Scrapy-Redis 爬取快代理免费

前面写过使用scrapy爬取快代理的免费ip 接下来使用的是基于Redis的分布式scrapy爬取快代理免费ip 1、准备好Redis 如何安装和使用Redis这里就不做介绍了,没有安装的可以参考我之前的博客。 注意:如果要在不同的机器上使用,要开启Redis的远程访问 2、创建好虚拟环境并在虚拟...

2018-10-21 12:07:57

阅读数 417

评论数 0

Python&Redis 发布订阅

1、Redis控制台操作 先开启一个Redis控制台开启订阅: SUBSCRIBE fm666 返回参数解释: subscribe,表示订阅成功 unsubscribe,表示取消订阅成功 message,表示其它终端发布消息 然后开启一个Redis控制台开始发布消息: PUBLISH fm666...

2018-10-07 14:58:56

阅读数 763

评论数 0

Python 使用pipeline 一次性操作 Redis

1、普通操作实例 import redis # 连接池方式 db表示选择数据库 pool = redis.ConnectionPool(host='111.231.135.184',port=6379,db=0) r = redis.Redis(connection_pool=pool) r.s...

2018-10-07 14:52:39

阅读数 683

评论数 0

Python&Redis 无序集合set、有序集合zset操作

1、Redis控制台操作无序集合set 无序集合 元素为string类型 元素具有唯一性,不重复 redis操作: 设置 添加元素 SADD key member [member ...] 获取 返回key集合所有的元素 SMEMBERS key 返回集合元素个数 SCARD key 其它 求多个...

2018-10-07 14:49:39

阅读数 972

评论数 0

Python&Redis hash操作

1、Redis 控制台操作 hash操作:解释,hash类似于一个集合操作,例如要设置一个人的name age sex 可以使用hash设置 实例: hset info name aea age 22 sex man 设置一个key为info 内容类似集合 name:aea age:22 sex...

2018-10-07 14:45:37

阅读数 601

评论数 0

Python&Redis list操作

1、Redis操作 redis操作: 实例:设置一个列表并查询 lpush qwe 123 设置一个元素 lpush qwe test 设置下一个元素 type qwe 查看qwe的类型 lrange qwe 0 0 获取0到0个元素 lrange qwe 0 2 ...

2018-10-07 14:44:11

阅读数 715

评论数 0

Python&Redis string操作

1、Redis控制台操作 set key value 设置键值 SETEX key seconds value 设置键值及过期时间,以秒为单位 MSET key value [key value ...] 设置多个键值 GET key 根据键获取值,如果不存在此键则返回nil...

2018-10-07 14:42:25

阅读数 488

评论数 0

Linux 安装redis 开启远程访问、密码验证等

1、安装redis CentOS下: 下载redis wget http://download.redis.io/releases/redis-4.0.10.tar.gz 解压redis tar zxf redis-4.0.10.tar.gz 编译并安装redis cd redis-4.0.1...

2018-10-07 14:31:38

阅读数 482

评论数 0

Scrapy 爬取快代理免费代理ip保存到文件、MySQL数据库以及MongoDB数据库

1、新建工程 scrapy startproject kuaidaili 2、新建爬虫文件 进入工程目录下 cd ./kuaidaili/kuaidaili 新建爬虫文件 scrapy genspider kuaidailispider "www.kuaida...

2018-10-05 16:05:01

阅读数 1469

评论数 0

nginx 配置 uwsgi 负载均衡

这里就不介绍如何使用uwsgi运行web服务了 直接看nginx配置 # 没有使用负载均衡 server { listen 9000; a...

2018-10-04 13:04:09

阅读数 1528

评论数 0

Linux 端口管理

1、定位某个进程所有使用的端口,例如nginx 先使用命令找到nginx的pid ps -ef | grep nginx 然后根据pid找到它所有监听0的端口 netstat -anpt | grep 2232 其他实例 netstat -nupl (UDP类型的端口) netstat -ntp...

2018-10-04 11:30:37

阅读数 1404

评论数 0

docker实战 容器互联的一种方法、docker运行django nginx 并相互链接

这里使用django + nginx做实例,前期准备: 1、一个可以运行的django工程 2、一个运行django的镜像/容器 3、一个运行nginx的镜像/容器 1、制作一个属于自己的运行django的镜像 拉取官方Ubuntu镜像 docker pull ubuntu:16.04 运行一个...

2018-10-02 13:11:10

阅读数 1383

评论数 0

django部署 nginx 配置简单的负载均衡

这里使用的负载均衡就是将过来的请求分发给不同的django服务去处理,不同的django服务使用的相同的数据库,那么来看nginx配置 upstream test01 { # 这里配置的是简单的负载均衡,过来的请求,第一个会去8001 第二个会去8002第三个会去8001 以此类推 serve...

2018-10-02 12:27:51

阅读数 1523

评论数 0

vue使用localStorage保存登录信息,适用于移动端、pc端

众所周知,vue可以用来开发移动端app,可以使用hbuilder将build好的vue打包成一个移动端app,但是用过之后就会发现,使用cookies或者session保存登录的token,在手机端无法保存,每次打开app依然提示登录。那么我们可以使用localStorage来保存登录信息就可以...

2018-10-02 11:48:24

阅读数 3601

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭