爬虫
Fly-U
这个作者很懒,什么都没留下…
展开
-
Redis数据库简笔
文章目录0x00 简介0x01 下载安装(略)0x02 配置Redis1、配置可访问主机(bind)2、配置监听端口(port)3、配置密码(reqquirepass)4、配置超时时间(timeout)5、配置Redis最大内存容量(maxmemory)6、配置数据库的数量(databases)0x03 Python访问Redis1、安装Redis库2、连接Redis数据库服务器3、字符串操作 0x00 简介 Redis是一个开源、免费、性能极高的Key-Value非关系型数据库。 Redis将数据保存于原创 2020-08-23 20:17:32 · 92 阅读 · 0 评论 -
MongoDB数据库简笔
MongoDB数据库 0x00 介绍 MongoDB是一个面向文档存储的非关系型数据库,是用C++编写的。 MongoDB将数据存储为一个文档,数据结构由“键值对”组成,字段值 可以包含其他文档、数组及文档数组,类似于JSON对象,如下格式: { "name": "Scrapy爬虫网络", "description": "做一个Scrapy爬虫达人", "author": "["张三","李四"]", "price": "59", } MongoDB与SQL对应的术语:原创 2020-08-18 09:05:06 · 203 阅读 · 0 评论 -
MySQLdb._exceptions.OperationalError: (1366, “Incorrect string value: ‘\\xE6\\x88\\x91\\xE7\\x9A\\x8
向MySQL数据库传递数据时,报错(MySQLdb._exceptions.OperationalError: (1366, "Incorrect string value: '\xE6\x88\x91\xE7\x9A\x8) 【一】原因 根据报错内容判断,是编码出现问题。上网查询后得知,是Mysql字符编码的问题。mysql编码的时候默认是 **lati1编码** 。但是更多时候我们会把他换成utf-8。 【二】 解决方法 1、 查看数据库和数据表的编码方式 show create database [数原创 2020-08-17 17:46:13 · 1877 阅读 · 0 评论 -
scrapy框架简笔
目录)0x00 Scrapy简介0x01 Scrapy框架结构0x02 Scrapy安装0x03 Scrapy项目部署1. 创建项目和爬虫2. 修改settings.py配置文件0x04 创建运行文件run.py0x05 Pipelines.py1. 去重2. 修改形式3. 开启和关闭spider4. 以CSV格式保存5. 以TXT格式保存0x06 items.py1. input_processor和output_processor0x07 spider.py(文件名可变)1. 框架3. 例子2——链家二原创 2020-08-14 09:36:17 · 217 阅读 · 0 评论