- 博客(10)
- 收藏
- 关注
RSS订阅原创 redis cookies
redis状态服务端启动sudo /etc/init.d/redis-server statussudo /etc/init.d/redis-server startsudo /etc/init.d/redis-server stopsudo /etc/init.d/redis-server restart客户端连接redis-cli -h IP地址 -p 端口 -a 密码...
2019-08-07 10:31:59
228
原创 spider cookies
html转为json类型部分显示会因内容格式导致 “json.decoder.JSONDecodeError”strict=False 非严格模式 (解决 JSONDecodeError)json_html = json.loads(html, strict=False)
2019-08-07 10:30:54
249
原创 今日头条爬虫踩坑之路
话不多说，直接开始访问页面头条号：url = https://www.toutiao.com/c/user/3410443345/#mid=3413306633找数据页面能访问，开启F12，发现源码并没没有数据怀疑是Ajax加载，继续找json数据，点开网络、选中xhr、继续往下刷新页面。诶，貌似找到了。现在把链接复制下来到浏览器打开https://www.tou...
2019-08-07 10:29:52
5574
16
原创 python操作数据库时提示 'latin-1' codec can't encode characters
python连接数据库操作： # 插入数据库失败,原因如下： 'latin-1' codec can't encode characters in position 25-27: ordinal not in range(256)解决方法:在sql.py中,或者是链接数据库时,添加:最后增加一个 ： charset=“utf8”db = pymysql.connect(h...
2019-07-25 20:42:01
1682
原创 module 'lib' has no attribute 'Cryptography_HAS_SSL_ST 异常
在python中导入模块后运行时报错提示AttributeError: module 'lib' has no attribute 'Cryptography_HAS_SSL_ST'，报错信息及解决方法如下：具体状况为：导入模块正常，但在执行python程序时会报错，导致程序不能正常运行。报错信息：Traceback (most recent call last): File "/usr...
2019-07-25 15:04:06
1264
原创 拉钩JSON数据爬取
步骤分析访问URL地址查看网页源代码发现职位信息为动态加载通过开发者工具查看xhr请求，发现json数据地址为https://gate.lagou.com/v1/neirong/positions/mark_info?positionIds=......，将地址复制到浏览器，出现您操作太频繁，请稍后访问之类的数据，无法查看完整数据向web中的地址发送请求，获取cookies和sessio...
2019-07-22 23:54:28
465
原创 爬取链家二手房信息
由于爬取到的数据是保存到MySQL数据库中，所以需先在MySQL中创建数据库和表数据库创建# 创建数据库create database lianjiadb charset=utf8;进入数据库# 进入创建的数据库use lianjiadb;创建表# 创建表create table house(house_area varchar(100) , house_in...
2019-07-20 11:47:24
675
原创 Redis之主从复制
Redis主从复制定义1、一个Redis服务可以有多个该服务的复制品，这个Redis服务成为master，其他复制品成为slaves2、网络正常，master会一直将自己的数据更新同步给slaves，保持主从同步3、只有master可以执行写命令，slave只能执行读命令作用分担了读的压力（高并发）原理从服务器执行客户端发送的读命令，比如GET、LRANGE、...
2019-07-17 15:43:15
78
原创 Redis之数据持久化
数据持久化持久化定义将数据从掉电易失的内存放到永久存储的设备上为什么需要持久化因为所有的数据都在内存上，所以必须得持久化数据持久化分类之 - RDB模式（默认开启）默认模式1、保存真实的数据2、将服务器包含的所有数据库数据以二进制文件的形式保存到硬盘里面3、默认文件名 ：/var/lib/redis/dump.rdb...
2019-07-17 11:58:50
84
原创 Redis 使用说明详解
RedisRedis介绍特点及优点1、开源的，使用C编写，基于内存且支持持久化2、高性能的Key-Value的NoSQL数据库3、支持数据类型丰富，字符串strings，散列hashes，列表lists，集合sets，有序集合sorted sets 等4、支持多种编程语言（C C++ Python Java PHP ... ）与其他数据库对比1、MySQL : 关系型数据...
2019-07-16 20:31:20
560
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人