- 博客(12)
- 收藏
- 关注
原创 Ask&Question
restful接口理论概念:REST与技术无关 代表的是一种软件架构风格 面向资源 将一切数据视为资源是REST区别与其他架构风格的最本质属性 对于REST这种面向资源的架构风格 有人提出一种全新的结构理念 即面向资源架构(客户端应用通过URL来获取资源的表征)规范:1.使用HTTPS协议HTTPS = HTTP + SSL ,部署需要去域名站点申请SSL证书2.将...
2019-11-14 23:02:54 1007 1
原创 Ask&Answer
MySQL语句长度mysql是有语句长度限制的,默认为1M的长度解决方法:需要修改my.ini文件(window系统下的mysql配置文件),my.conf(Linux系统下的mysql配置文件)如果你用的是Windows的,在MySQL安装目录下查找my.ini在Linux则查找my.cnf在配置里面加入max_allowed_packet=64M默认的my.ini和my.con...
2019-11-14 09:02:59 514
原创 MySQL多表联查
在关系型数据库中,我们通常为了减少数据的冗余量将对数据表进行规范,将数据分割到不同的表中。当我们需要将这些数据重新合成一条时,就需要用到表连接 可以理解为将两个表的每一行,以“两两横向对接”的方式,所得到的所有行的结果。首先笛卡儿积将A表的每一条记录与B表的每一条记录强行拼在一起。所以,如果A表有n条记录,B表有m条记录,笛卡尔积产生的结果就会产生n*m条记录。笛卡儿积会出现大量的冗余,...
2019-11-12 22:53:11 452
原创 Mysql数据库
定义对大量信息进行管理的高效解决方案,按照数据结构来组织、存储和管理的库数据库系统(DataBase System)=数据库管理系统(DBMS)+数据库(DataBase)+管理员•DBS=DBMS+DB关系模型:1.数据结构可以规定,同类数据,结构一致,就是一个二维的表格2.数据之间的关系可以设置,实体之间的联系关系型数据库典型概念•数据库datebase:数据的仓库•表t...
2019-11-07 22:22:27 222
原创 scrapy-redis分布式爬虫
scrapy-redis是scrapy框架基于redis数据库的组件,用于scrapy项目的分布式开发和部署。有如下特征: 分布式爬取您可以启动多个spider工程,相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取。 分布式数据处理爬取到的scrapy的item数据可以推入到redis队列中,这意味着你可以根据需求启动尽可能多的处理程序来共享i...
2019-09-21 16:38:48 162
原创 scrapy爬虫部署
部署流程1.安装pip3 install scrapydpip3 install scrapyd-client2.修改scrapyd.cfg (项目的配置文件)url = http://localhost:6800/3.scrapyd 启动服务4.在本地部署打包项目scrapyd-deploy -p <项目名称> --version <版本号>相关...
2019-09-21 16:05:43 129
原创 BeautifulSoup&PyQuery&线程&线程池
BeautifulSoupBeautifulSoup是python的一个HTML或XML的解析库,可以用它来方便地从网页中提取数据 bs4在解析时依赖解析器BeautifulSoup(markup,‘lxml’)它是Python内置标准库,执行速度适中,容错能力强1.安装pip install beautifulsoup4导入from bs4 import BeautifulSoup...
2019-09-10 17:23:39 177
原创 Requests&XPATH
RequestsRequests其实就是把一些urllib的方法封装 用起来更简单1.安装Requestspip3 install requests2.导入Requestsimport requests GETurl = 'http://college.gaokao.com/schlist'headers = { 'User-Agent':'Mozilla...
2019-09-09 17:27:25 460
原创 urllib&正则
urlliburllib是python内部自带的一个用于爬虫的组件如何使用urllibGET1 导入 from urllib import request2 发起请求 <1> 创建一个request对象url > 目标url地址data=None 默认为None 表示是一个get请求 反之为post请求headers={} 请求头 <2&...
2019-09-09 08:49:36 173
原创 脑回路清奇的增删查改之改
咳咳咳咳 本PO主已经是学了一个月基础的小萌新了刚开始的基础都离不开 增删查改 被用到烂梗的学生管理系统下面PO主就来展示一下自己写的修改功能¥¥¥¥¥¥¥¥¥¥¥¥¥¥¥¥¥¥¥¥¥&amp;lt;这只是一条分隔线&amp;gt;代码如下 来来来 敲黑板划重点PO主在这里用的是函数 PO主觉得简单的增删查改 用循环和判断其实就可以完成这里想展现出与众不同不是装X 函数是个好东西 希望...
2018-12-16 17:54:22 202 1
原创 python入门
今天博主分享一个简单的淘宝 可以进行简简单单地操作 :放出代码前方高能 !!!OK let us begin !store = [{‘name’:‘iphoneX’,‘price’:8888,‘count’:10},{‘name’:‘P20Pro’,‘price’:4488,‘count’:20},{‘name’:‘Mate20Pro’,‘price’:5500,‘count’:30...
2018-12-08 14:52:00 167
原创 python基础
python基础之猜拳剪刀石头布使用if循环和电脑猜拳代码如下石头剪刀布import randomprint(‘请出拳:1,石头 2,剪刀 3,布’)user = int(input())computer = random.randint(1,3)if user == 1:if computer == 1:print(‘用户:石头,电脑:石头,结果:平’)elif comp...
2018-11-30 16:36:34 223
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人