数据库
WD-CHINA
这个作者很懒,什么都没留下…
展开
-
pymysql数据库的简单使用
# 导入pymysqlimport pymysql# 1.建立连接# localhost = 127.0.0.1conn = pymysql.connect( # 主机地址 host='127.0.0.1', # 端口号 port=3306, # 用户名 user='root', # 密码 password='123456'...原创 2019-04-10 20:50:09 · 166 阅读 · 0 评论 -
使用gerapy部署scrapyd爬虫项目
安装gerapypip install gerapy安装完成后,新建文件夹命名为test,在文件夹内按shift+鼠标右键打开管理员命令 命令窗口输入gerapy在命令行中输入gerapy init执行后会在test文件夹内创建一个project文件夹输入cd gerapy进入gerapy文件夹内,然后再输入 这一步就是为了穿件db.sqlite3这个文件然后输入gerapy run...原创 2019-04-08 19:47:59 · 423 阅读 · 0 评论 -
Scrapyd部署爬虫项目
1、安装scrapyd模块命令行工具打开输入:pip install scrapyd等待安装完成。安装完成后输入scrapyd,启动scrapyd服务。出现以上界面表示scrapyd已启动。让其服务在后台运行。在浏览器输入2、如果连接成功先关闭服务,自己在非C盘下新建一个文件夹,名称自定义如:test,然后进入该文件夹,shift+右键 打开命令行工具,输入执行,执行完成后会新建一...原创 2019-04-08 21:13:16 · 224 阅读 · 0 评论 -
基于Scrapy_redis部署scrapy分布式爬虫
1.使用命令行工具下载工具包 scrapy_redis2.使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器3.修改spider爬虫文件4.如果连接的有远程服务,例如MySQL,Redis等,需要将远程服务连接开启,保证在其他主机上能够成功连接5.配置远程连接的MySQL及redis地址分布式用到的代码应该是同一套代码1) 先把...原创 2019-04-08 21:55:48 · 164 阅读 · 0 评论 -
布隆过滤去重/Redis结合布隆过滤,部署分布式爬虫
基本概念如果想判断一个元素是不是在一个集合里,一般想到的是将所有元素保存起来,然后通过比较确定。链表,树等等数据结构都是这种思路. 但是随着集合中元素的增加,我们需要的存储空间越来越大,检索速度也越来越慢。不过世界上还有一种叫作散列表(又叫哈希表,Hash table)的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列(Bit Array)中的一个点。这样一来,我们只要看看这个点是...原创 2019-04-08 21:57:33 · 165 阅读 · 0 评论 -
MongoDB的安装启动及做成windows服务的教程图解
官网地址: https://www.mongodb.com/download-center?jmp=nav#community点击图中链接进入所有版本的下载列表我下载的是3.6.5版本的下载完成后按照下面步骤安装选择complete安装选择安装目录路径安装完成后点击finish启动MongoDB服务进入MongoDB安装目录(说明:mongod.exe为MongoDB服务...转载 2019-04-09 12:44:49 · 167 阅读 · 0 评论 -
MongoDB数据库基本操作
show dbs用于查询mongoDB中所有的数据库。use xxxx创建或切换数据库,如果xxxx数据库已存在,则切换到xxxx数据库,如果xxxx不存在,则创建并切换到xxxx。db查询当前所在的数据库show collections查询当前数据库中所有的表(集合)db.createCollection("xxxx")在当前数据库中创建一张表,表名是xxxxdb....原创 2019-07-03 19:18:03 · 149 阅读 · 0 评论