- 博客(23)
- 收藏
- 关注
RSS订阅转载 SQL Lesson 9: 查询执行顺序
介绍完了所有查询相关的语法，我们来把之前的所有语法集中到一个句子中.这才是完整的SELECT查询SELECT DISTINCT column, AGG_FUNC(column_or_expression), … FROM mytable JOIN another_table ON mytable.column = another_table.column WHERE constra...
2019-10-22 14:26:22
1174
转载 SQL Lesson 8: 在查询中进行统计II (Pt. 2)
到目前为止，我们的Query查询已经有点复杂了，不过还好我们已经基本把查询语法介绍完了。在GROUP BY分组语法中，我们知道数据库是先对数据做WHERE，然后对结果做分组，如果我们要对分组完的数据再筛选出几条如何办？ （想一下按年份统计电影票房，要筛选出>100万的年份？）一个不常用的语法HAVING语法将用来解决这个问题，他可以对分组之后的数据再做SELECT筛选.用H...
2019-10-19 17:42:12
2689
1
转载 SQL Lesson 7: 在查询中进行统计I (Pt. 1)
从这一节开始学习SQL如何对数据进行统计，SQL默认支持一组统计表达式，他们可以完成数据统计，如：计数，求平均等。 以Movies表数据为例，这些统计表达式可以帮我们回答以下问题："Pixar公司生产了多少电影？", 或 "每一年的票房冠军是谁?".对全部结果数据做统计SELECT AGG_FUNC(column_or_expression) AS aggregate_descri...
2019-10-18 21:05:34
3824
2
转载 SQL Lesson 6: 在查询中使用表达式
之前我们在SQL中的出现col_name（属性名）的 地方，我们都只是写上col_name自身。其实在SQL中可以用col_name的地方，都可以用表达式来指定对属性进行一定的计算或处理。举个例子：假设有一个col_name是出生日期，现在要求SQL返回当前的年龄，这就可以用一个时间计算表达式对出生日期做计算得到年龄。表达式可以对数字运算，对字符串运算，也可以在表达式中只包含常量不包含col_na...
2019-10-18 18:48:18
1976
转载 SQL Lesson 5: 关于特殊关键字 NULLs
之前我们已经接触过NULL. 在数据库中，NULL表达的是 "无"的概念，或者说没有东西。因为 NULL的存在，我们需要在编写SQL时考虑到某个属性列可能是 NULL的情况， 这种特殊性会造成编写SQL的复杂性，所以没有必要的情况下，我们应该尽量减少NULL的使用，让数据中尽可能少出现NULL的情况。如果某个字段你没有填写到数据库，很可能就会出现NULL。所有一个常见的方式就是为字段设置...
2019-10-11 10:44:58
1461
2
转载 SQL Lesson 4: 用JOINs进行多表联合查询
到目前为止我们已经学会了如何做一个单表的查询，但是在现实数据库中往往包含一组相关的数据表，这些表一般会符合数据库范式(normalization)[1]. 让我们先了解下关系数据库的范式数据库范式(normalization)数据库范式是数据表设计的规范，在范式规范下，数据库里每个表存储的重复数据降到最少（这有助于数据的一致性维护），同时在数据库范式下，表和表之间不再有很强的数据耦合...
2019-10-10 16:34:17
3090
4
转载 SQL Review: 复习 SELECT 查询
复习SELECT查询语法SELECT column, another_column, … FROM mytable WHERE condition(s) ORDER BY column ASC/DESC LIMIT num_limit OFFSET num_offset;练习正如实际工作中，最大的变化不是SQL语法，而是实际数据的表结构和数据。在本节练习中，我们会放出一...
2019-10-09 15:04:30
2944
2
转载 SQL Lesson 2: 查询结果Filtering过滤 和 sorting排序
DISTINCT语法介绍，我们拿之前的 Movies表来说，可能很多电影都是同一年Year发布的，如果你想要按年份排重，一年只能出现一部电影到结果中， 你可以用DISTINCT关键字来指定某个或某些属性列唯一返回。写作：DISTINCT Year选取出唯一的结果的语法SELECT DISTINCT column, another_column, … FROM mytable W...
2019-09-28 19:31:31
4315
3
转载 SQL Lesson 1: SELECT 查询
声明：文章内容来自http://www.xuesql.cn/，本文做了部分修改，并保证仅用作学习不用于其他商业用途。一、查询SELECT语句, 通常又称为查询（queries), 正如其名,SELECT可以用来从数据库中取出数据. 一条 SELECT 语句或者叫一个查询, 可以描述我们要从什么表取数据， 要取哪些数据，在返回之前怎么对结果做一些转化计算等等.你可以把一个表(...
2019-09-28 11:40:38
5746
4
原创 2019.5.7 Python学习总结
放了一个很长的五一假期回来了。。。关于scrapy的架构的详解：https://blog.csdn.net/baidu_32542573/article/details/79415947天善智能课程自动爬虫实战将天善智能网页中的每个课程名、链接、学习人数自动爬取下来，并写入到某一文档中...
2019-05-07 22:27:11
147
10
原创 2019.4.17-19 Python学习总结
糗事百科自动爬虫实战（爬取所有段子内容和对应的链接）1.静态爬取新建一个糗事百科的爬虫文件结果出错也没能找到原因，心塞。。。2.动态爬取很遗憾，我运行出来依然有错，一样的错误，没解决，哎...
2019-04-19 15:06:54
135
4
原创 2019.4.17 Python学习总结
第一个scrapy爬虫Xpath表达式：运行效率远大于正则表达式，基于对应的标签提取信息，很适合提取网页信息。/：从顶端开始提取第一个标签//：寻找所有的标签@：提取标签对应的属性text():提取文本信息标签[@属性=值]：定位到某一个标签、例：提取第二行中i标签下的class属性的内容//div[@class="ns_side_qrcode"]/i/@class...
2019-04-18 11:25:31
111
1
原创 2019.4.11 Python学习总结
Scrapy框架常见命令实战4.16，时隔一个礼拜的今天我终于又开始学习了。。。spider命令from scrapy.spiders import Spiderclass FirstSpider(Spider): name="first" allowed_domains=["baidu.com"] start_urls=["http://www.bai...
2019-04-16 21:41:43
125
4
原创 2019.4.10 Python学习总结
Scrapy框架的安装scrapy框架是一个Python爬虫框架，非常适合做一些大型爬虫项目。今天自己花了两个多小时解决了pycharm中安装scrapy框架不成功的问题，其实还是自己下载Microsoft Visual C++ 14.0不对，一觉睡醒再找很快就找到了正确的安装包。关于安装方法很多博客都有写直接百度就可以，我就不累述了。看完视频发现作业居然是这个。哈哈，就当我完成...
2019-04-10 16:12:49
178
2
原创 2019.4.9 Python学习总结
多线程爬虫所谓多线程，即程序中的某些程序段并行执行，合理地设置多线程 ，可使爬虫效率更高。例：普通的糗事百科段子爬虫import urllib.requestimport reimport urllib.errorheaders=("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHT...
2019-04-09 21:15:47
138
1
原创 2019.4.3 Python学习总结
今天上课讲到了九九乘法表，之前看视频有学过但是发现自己又忘的差不多了，看似简单自己却犯了各种错误，今天回顾复习一下：for i in range(1,10): for j in range(1,i+1): print(str(i)+'*'+str(j)+'='+str(i*j),end=' ') print()抓包分析实战所谓抓包分析，就是在做爬虫时...
2019-04-09 15:48:28
167
2
原创 2019.3.31 Python学习总结
爬虫防屏蔽手段之代理服务器import urllib.requestdef use_proxy(url,proxy_addr): proxy=urllib.request.ProxyHandler({"http":proxy_addr}) opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)...
2019-03-31 15:13:59
138
1
原创 2019.3.30 Python学习总结
新闻爬虫实战需求：将新浪新闻首页所有的新闻爬取到本地思路：先爬首页，通过正则表达式获取所有新闻链接，然后依次爬取各新闻并存储到本地import urllib.requestimport redata=urllib.request.urlopen("https://news.sina.com.cn/").read()data2=data.decode("utf-8","ignor...
2019-03-30 21:23:33
148
1
原创 2019.3.29 Python学习总结
爬虫的异常处理URL Error:1.连不上服务器2.远程的url不存在3.本地无网络4.触发了HTTP子类import urllib.errorimport urllib.requesttry: urllib.request.urlopen("http://blog.csdn.net")except urllib.error.URLError a...
2019-03-29 21:27:38
139
1
原创 2019.3.26 Python学习总结
一、urllib模块基础1.urlretrieve()：直接将网页下载到本地对应的位置urllib.request.urlretrieve(url,filename=),其中，url是对应的路径，filename是本地地址>>> import urllib.request>>> urllib.request.urlretrieve("http:/...
2019-03-27 16:05:06
115
2
原创 2019.3.25 Python学习总结
一.网络爬虫的基本原理网络爬虫主要用于数据采集。最常用的两种爬虫：通用爬虫和聚焦爬虫。其中聚焦爬虫有过滤的功能，通用爬虫没有。二.正则表达式的基本概念：1.希望只提取有用的以及我们关注的信息可以通过表达式进行提取如正则表达式，它就是其中一种进行数据筛选的表达式。2.原子是正则表达式中最基本的组成单位，每个正则表达式中至少要包含一个原子。常见的原子类型有：a.普通字符作为原子b.非打印...
2019-03-26 16:33:30
120
2
原创 2019.3.23 Python学习总结
2019.3.23Python学习总结：一、关于库的导入以及读取1.urlllib.request.urlopen中urllib是一个库，request是其中的一个模块，urlopen是其中的一个方法，需要一层层导入才能使用。具体方法（利用urllib爬取百度首页）：import urllibfrom urllib.request import urlopena=urllib.re...
2019-03-23 21:24:17
159
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人