入门
文章平均质量分 74
见山不是山
人间不值得
展开
-
MySQL多表联查
在关系型数据库中,我们通常为了减少数据的冗余量将对数据表进行规范,将数据分割到不同的表中。当我们需要将这些数据重新合成一条时,就需要用到表连接 可以理解为将两个表的每一行,以“两两横向对接”的方式,所得到的所有行的结果。首先笛卡儿积将A表的每一条记录与B表的每一条记录强行拼在一起。所以,如果A表有n条记录,B表有m条记录,笛卡尔积产生的结果就会产生n*m条记录。笛卡儿积会出现大量的冗余,...原创 2019-11-12 22:53:11 · 449 阅读 · 0 评论 -
Mysql数据库
定义对大量信息进行管理的高效解决方案,按照数据结构来组织、存储和管理的库数据库系统(DataBase System)=数据库管理系统(DBMS)+数据库(DataBase)+管理员•DBS=DBMS+DB关系模型:1.数据结构可以规定,同类数据,结构一致,就是一个二维的表格2.数据之间的关系可以设置,实体之间的联系关系型数据库典型概念•数据库datebase:数据的仓库•表t...原创 2019-11-07 22:22:27 · 221 阅读 · 0 评论 -
python基础
python基础之猜拳剪刀石头布使用if循环和电脑猜拳代码如下石头剪刀布import randomprint(‘请出拳:1,石头 2,剪刀 3,布’)user = int(input())computer = random.randint(1,3)if user == 1:if computer == 1:print(‘用户:石头,电脑:石头,结果:平’)elif comp...原创 2018-11-30 16:36:34 · 219 阅读 · 0 评论 -
python入门
今天博主分享一个简单的淘宝 可以进行简简单单地操作 :放出代码前方高能 !!!OK let us begin !store = [{‘name’:‘iphoneX’,‘price’:8888,‘count’:10},{‘name’:‘P20Pro’,‘price’:4488,‘count’:20},{‘name’:‘Mate20Pro’,‘price’:5500,‘count’:30...原创 2018-12-08 14:52:00 · 166 阅读 · 0 评论 -
urllib&正则
urlliburllib是python内部自带的一个用于爬虫的组件如何使用urllibGET1 导入 from urllib import request2 发起请求 <1> 创建一个request对象url > 目标url地址data=None 默认为None 表示是一个get请求 反之为post请求headers={} 请求头 <2&...原创 2019-09-09 08:49:36 · 170 阅读 · 0 评论 -
Requests&XPATH
RequestsRequests其实就是把一些urllib的方法封装 用起来更简单1.安装Requestspip3 install requests2.导入Requestsimport requests GETurl = 'http://college.gaokao.com/schlist'headers = { 'User-Agent':'Mozilla...原创 2019-09-09 17:27:25 · 457 阅读 · 0 评论 -
BeautifulSoup&PyQuery&线程&线程池
BeautifulSoupBeautifulSoup是python的一个HTML或XML的解析库,可以用它来方便地从网页中提取数据 bs4在解析时依赖解析器BeautifulSoup(markup,‘lxml’)它是Python内置标准库,执行速度适中,容错能力强1.安装pip install beautifulsoup4导入from bs4 import BeautifulSoup...原创 2019-09-10 17:23:39 · 175 阅读 · 0 评论 -
scrapy爬虫部署
部署流程1.安装pip3 install scrapydpip3 install scrapyd-client2.修改scrapyd.cfg (项目的配置文件)url = http://localhost:6800/3.scrapyd 启动服务4.在本地部署打包项目scrapyd-deploy -p <项目名称> --version <版本号>相关...原创 2019-09-21 16:05:43 · 127 阅读 · 0 评论 -
scrapy-redis分布式爬虫
scrapy-redis是scrapy框架基于redis数据库的组件,用于scrapy项目的分布式开发和部署。有如下特征: 分布式爬取您可以启动多个spider工程,相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取。 分布式数据处理爬取到的scrapy的item数据可以推入到redis队列中,这意味着你可以根据需求启动尽可能多的处理程序来共享i...原创 2019-09-21 16:38:48 · 158 阅读 · 0 评论