青山枝桠-CSDN博客

原创基于Django的天气预报

1.进入cmd进入环境用django创建文件 django-admin startproject 项目名字2.用pycharm打开文件，然后点击file----newproject 3。点击create此时会进入一个新的项目并且比原项目多了一个templates文件，用来创建HTML文件 4.创建app,如果需要在网页中显示想要的数据，可以先创建一个app，一个app可以理解为...

2018-10-08 21:59:38 1906

原创 Django 创建及运行

1、使用cmd 进入自己的虚拟环境，pip install django==1.11(版本自己选择)2、cd desktop进入桌面，使用 django-admin startproject 项目名构建django项目3、使用pycharm 打开创建的django项目，查看目录结构，此时可关闭cmd在pycharm中进行操作在此可运行程序4、运行后 ...

2018-10-08 21:27:01 171

原创 Redis结合布隆去重，部署分布式爬虫

如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速度也越来越慢。不过世界上还有一种叫作散列表（又叫哈希表，Hash table）的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列（Bit Array）中的一个点。这样一来，我们只要看看这...

2018-09-29 21:21:14 488

原创 scrapyd 部署爬虫项目

1.cmd进入虚拟环境下载scrapyd,即pip install scrapyd,安装完成后输入scrapyd，启动scrapyd服务在浏览器输入127.0.0.1：6800 即可查看2. 如果连接成功先关闭服务，自己在非C盘下新建一个文件夹，名称自定义如:scrapydTest然后进入该文件夹， cmd打开命令行工具，输入scrapyd执行，执行完成后会新建一个dbs空文件夹，用来...

2018-09-28 22:18:54 388

原创基于Scrapy_redis部署scrapy分布式爬虫

1.使用命令行工具下载工具包 scrapy_redis，如果有自己的环境先进入自己的环境中再进行下载2. 使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器 3.修改spider爬虫文件4.如果连接的有远程服务,例如MySQL,Redis等,需要将远程服务连接开启,保证在其他主机上能够成功连接，找到MySQL之中的一个名为use...

2018-09-27 20:13:14 133

原创用scrapy异步写入，爬取51job数据

# 51job我们查看源代码可以看出网站信息都是HTML数据，所以只用xpath,就能将所需要的信息获取# 创建爬虫class ZhaopinSpiderSpider(scrapy.Spider): name = 'zhaopin_spider' allowed_domains = ['51job.com'] start_urls = ['https://search...

2018-09-20 11:46:52 586

原创小总结一下python中的几个容器

**********************************list（列表）****************************************Python内置的一种数据类型是列表：list。是一种有序的集合，可以随时添加和删除其中的元素用索引来访问list中每一个位置的元素，记得索引是从0开始的：当索引超出了范围时，Python会报一个IndexError错误，所以，...

2018-07-27 20:41:39 9198 1

原创 python数据库小知识

"""关系型数据库（SQL数据库）：MySQL、Oracle、Sqlite3、SQLServer...1.可以存储统一格式的数据2.可以用于保存大量的数据3.表与表之间有关联非关系型数据（NoSQL数据库）：Mangodb、Redis...."""# 1.建立数据库连接# connect() 若数据库文件存在，则打开，若不存在，则创建connect = sqlite3.co...

2018-07-25 21:21:11 156

原创 BMI计算器

a = 1b = 2# 在python3以上版本中 /单除号若两侧为整数，计算会得到小数，如果想要得到整数，可以使用// 双除号# 在python3以下版本中 /单除号若两侧为整数，计算会得到整数print(a/b)print(a//b)while True: # 1.输入身高(m)、体重(kg) ，转换为浮点类型数据 height = input('请输入您...

2018-07-24 17:34:04 4655

wu_tian_hao的博客