- 博客(59)
- 收藏
- 关注
RSS订阅原创 大数据技术原理与应用 第4章 分布式数据库HBase
4 分布式数据库HBase4.1 HBase简介4.1 HBase简介HBase是BigTable的开源实现。为什么会有BigTable这个分布式存储系统呢？BigTable最初是为了解决谷歌公司内部大规模网页搜索问题的，谷歌公司一直用BigTable存储大量的网页。对于网页搜索，可以分为两步：建立整个网页的索引...
2020-10-17 17:37:24
954
原创 hadoop web界面管理错误
It looks like you are making an HTTP request to a hadoop IPC port. This is not the correct port for the web interface in this daemon.hadoop 3 中已经将端口改成 9870所以在网址栏输入 localhost:9870 即可。
2020-10-17 14:06:09
1470
1
原创 大数据技术原理与应用 笔记 第3章 分布式文件系统HDFS
分布式文件系统HDFS简介分布式文件系统HDFS实现目标HDFS自身的局限性HDFS相关概念块HDFS两大组件名称节点数据节点HDFS体系结构结构命名空间通信协议局限性HDFS存储原理冗余机制存储过程数据读取数据的错误与恢复简介全称 Hadoop Distributed File System简称HDFS解决海量数据的分布式存储问题。分布式文件系统在大数据时代，单台计算机无法存储海量数据，所以要使用集群来进行存储。HDFS实现目标兼容廉价的硬件设备实现流数据读写（特点！）支持大数据集
2020-10-15 21:46:38
677
原创 大数据技术原理与应用 笔记 第2章 大数据处理架构Hadoop
大数据处理架构HadoopHadoop发展历程Hadoop起源Hadoop特点Hadoop应用现状不同版本Hadoop项目结构Hadoop发展历程Hadoop是apache软件基本会旗下的开源分布式计算平台。受欢迎的原因：一是免费；二是极大地降低了使用复杂度，屏蔽了所有的底层细节，提供了更高层的接口。Hadoop支持多种语言：C++ Java PythonHadoop的两大核心：HDFS+MapReduceHDFS分布式文件系统MapReduce分布式并行编程框架这两大核心解决了海量数
2020-10-14 11:18:22
504
3
原创 大数据技术原理与应用 笔记 第1章 大数据概述
文章目录大数据时代带来的影响大数据关键技术分布式存储 分布式处理不同的计算模式需要使用不同的产品典型的计算模式批处理计算（不适合实时计算）流计算图计算查询分析计算总结大数据与云计算云计算云计算关键技术云计算数据中心应用物联网物联网关键技术大数据时代带来的影响现在我们有足够的空间，可以对全局数据进行存储，处理，分析。因为之前是进行抽样统计分析，所以我们对算法的要求是尽量准确，而非追求效率。而现在我们可以存储全部的数据之后，我们就应该追求效率而不是刻意追求精确了。在大数据时代，要追求时效性，很多
2020-10-13 16:41:19
485
原创 python 使用国内源安装包 pip install Error: DLL
使用国内源安装pip install package_name -i https://pypi.tuna.tsinghua.edu.cn/simple豆瓣镜像：https://pypi.doubanio.com/simple/阿里云镜像：https://mirrors.aliyun.com/pypi/simple/package_name==xx.xx.x就可以安装指定的版本号pip install或者uninstall时，遇到错误 DLL使用管理员身份打开cmd就行了有时候会..
2020-07-23 22:45:41
376
原创 leetcode LCP 07. 传递信息 python DFS BFS
leetcode LCP 07. 传递信息题目描述题解方法一：深度优先搜索 DFS思路：全局变量：方法二：广度优先搜索 BFS思路：emmm…第一次参加周赛，做好了被虐的准备！没事！我还可以！爬起来再战斗！我可是打天下战士的一员啊！！题目描述题解方法一：深度优先搜索 DFS思路：这是一道典型的寻找路径的题目，很容易想到DFS或者BFS，这里先考虑DFS，因为是一条路线走完，再走下...
2020-04-19 02:30:55
409
原创 leetcode 542.01矩阵 python BFS广度优先搜索
leetcode 542.01矩阵题目描述题解题目描述题解思路：首先肯定要遍历矩阵，找到起点，也就是元素为1的位置。找到了起点之后，开始遍历 上下左右 4个方向，先最靠近起点的第1层，再到第2层，…，直到遇到有元素为0就停止。这个思路就很像 BFS（一层层地来遍历），BFS的一大帮手就是队列 queue，利用队列来记录节点，节点进出的方式为先进先出，节点要记录的信息不仅仅是它自己的位置信...
2020-04-15 12:49:10
371
原创 leetcode 面试题25.合并两个排序的链表 同leetcode 21. python
leetcode 面试题25.合并两个排序的链表题目描述题解方法一：两个指针遍历方法二：递归题目描述题解方法一：两个指针遍历思路：就是最直接的想法定义一个新指针tmp用来遍历结果链表reshead1用来遍历l1链表head2用来遍历l2链表然后比较head1和head2对应的结点的值，小的那一个就接到tmp后面。# Definition for singly-linked li...
2020-04-09 23:01:50
105
原创 16 python与mysql case...when...then 语句
举个例子有一个班级表。学生属于1班和2班，要将1班和2班交换，也就是原来1班变为2班，原来2班变为1班。其余班级归到3班。case classwhen 1 then 2when 2 then 1 else 3end;所以总结就是case 判断的字段when 值1 then 值2 --当是值1时，改成值2when 值2 then 值1 else 值3 -- 都不属于上面wh...
2020-04-09 18:59:43
658
原创 leetcode 22.括号生成 DFS BFS 动态规划 python
leetcode 22.括号生成题目描述题解方法一：深度优先遍历 DFS方法二：动态规划题目描述题解思路：先自己解一下题目，首先肯定是以 （开头，以）结尾。然后想，怎么判断这个组合到底正不正确呢？先是想到用栈stack，但是要很多次的pop和push才能判断，很繁琐。后来看题解，才发现有一个简单的方法，那就是 只要剩余的 左括号数 > 右括号数 那就是错误的了。再是怎么选择下一个...
2020-04-09 18:24:43
253
原创 leetcode 9.回文数 python
leetcode 9.回文数题目描述题解解法一解法二：看到题目里的进阶要求了吗？题目描述题解解法一思路：转为字符串，然后直接判断相不相等class Solution: def isPalindrome(self, x: int) -> bool: s = str(x) return s == s[::-1]解法二：看到题目里的进阶要求了...
2020-04-05 02:03:30
143
原创 Ubuntu18.04 linux 手动安装 pip setuptools PyMySQL
Python库安装包下载：https://pypi.org/进去之后，直接搜索想要的库就行了emmm 我为什么要手动下呢…我的主机是正常连wifi的，但是！虚拟机怎么都连不上网了，在今天之前，它都是可以连上的。我百度了多种方法，它仍然连不上网，然而我又要装一堆库，所以只能曲线救国了。setuptools安装包下载地址：https://pypi.org/project/setuptoo...
2020-04-02 21:06:26
1218
原创 15 python与mysql 自关联
自关联自关联自关联查询例子自关联设计省的信息表 provincesidptitle设计市的信息表 citiesidctitleproid 表示所在省，对应provinces的id问题：两张表可以合成一张表吗？因为存储的都是地区信息，cities相比provinces就是多了一列proid而已。答：所以，可以定义一个表areas：idatitlepid对...
2020-03-31 16:45:14
131
原创 14 python与mysql 关联查询
关联查询首先，了解以下表的结构。确定实体间是否有关系确定是几对几的关系确定在哪个实体中建立字段例子：查询男生的姓名、总分students.gender = 1students.namesum(scores.score)建立连接：students.id=scores.stuid使用sum->分组，id：每个人的总分命令：select name.sum(score...
2020-03-31 10:58:34
251
原创 leetcode 面试题62. 圆圈中最后剩下的数字 python 剑指offer系列 5 约瑟夫环问题
leetcode 面试题62.题目描述题解题目描述题解class Solution: def lastRemaining(self, n: int, m: int) -> int: num = [i for i in range(n)] index = 0 while len(num) > 1: i...
2020-03-30 12:41:59
147
原创 leetcode 1162.地图分析 python BFS 宽度优先搜索
leetcode 1162.地图分析题目描述题解题目描述题解这是一道典型的应用BFS的题。 nettee的题解 写得很好，很清楚。这位大神应该是擅长java的，所以python的代码写得不是很简洁，但是思路真的很好。BFS的特点就是一层层地遍历，方便计算层数。DFS是先一条分支走到头，再下一条分支。首先，循环一遍表格，找出所有的陆地，这就作为第0层的起点。用一个变量distance记...
2020-03-29 10:08:44
289
原创 leetcode 208.实现Trie（前缀树） python 字典树模板
leetcode 208.实现Trie题目描述字典树模板题目描述字典树模板class Trie: def __init__(self): """ Initialize your data structure here. """ self.trie = {} def insert(self, word: st...
2020-03-28 21:14:55
501
原创 leetcode 820.单词的压缩编码 python set的discard方法 字典树Trie模板
leetcode 820.题目描述题解解法一解法二 set的discard解法三 字典树 Trie题目描述题解解法一刚开始的思路是，循环每个单词，和#一起拼接成字符串s，同时用一个列表记录下#的位置。当循环到新的一个单词时，就检查每个#前与当前单词同样长度的字符串，看这个字符串和当前单词是否一致。如果一致则字符串s不改变，如果不一致则字符串s添加新的单词。这种方法在[‘me’,‘tim...
2020-03-28 20:34:52
295
原创 13 python与mysql 连接查询
连接查询例子连接查询的类型例子现在有3个表，按下图的方式连接。查询每个学生每个科目的分数分析：学生姓名在students表，科目名在subjects表，分数则在scores表，如何查询呢？这里就要使用连接查询了我们希望的显示效果是这样的：xxx(name) | yyy(科目) | zzz(分数)students.name | subjects.title | score...
2020-03-27 18:00:30
112
原创 12 python与mysql 外键约束 外键级联
保证数据的准确性外键约束外键的级联操作外键约束建立好了关系字段（B表引用A表的主键）之后，为了保证关系字段数据的正确而添加的约束。create table scores(id int primary key auto_increment not null,stuid int,subid int,score decimal(5,2), ! 一共5位数，小数部分占2位foreign k...
2020-03-27 16:38:11
304
原创 11 python与mysql 小总结 存储关系
存储关系总结关系总结先总结一下之前的语句，以及它们在命令中出现的顺序select distinct *from 表名where ...group by ... having ...order by ...limit start, count执行顺序from 表名where …group by …select distinct *having …order by ...
2020-03-27 10:52:06
186
原创 10 python与mysql 分页 limit
分页介绍语法例子介绍当数据量过大时，在一页中查看数据是一件非常麻烦的事情，所以要分页。语法select * from 表名 limit start,count从start开始，获取count条数据start 索引从0开始例子设定每页显示m条数据，当前显示第n页（n从1开始）nstart10~m-12m*1~2*m-13m*2~3*m-1...
2020-03-26 16:44:32
997
原创 09 python与mysql 排序 order by
排序介绍语法介绍为了方便查看数据，可以对数据进行排序语法select * from 表名 order by 列1 asc|desc, 列2 asc|desc,…将行数据按照列1进行排序，如果某些行列1的值相同时，则按照列2排序，以此类推默认按照列值从小到大排序asc从小到大排序，即升序desc从大到小排序，即降序例子查询未删除男生学生信息，按学号降序select * ...
2020-03-26 16:19:41
579
原创 leetcode 999.车的可用捕获量 python DFS
leetcode 999.题目描述题解题目描述题解思路：理解题目，找到R在哪以后，R只能往上下左右走，走几格都行，但是只要走了方向就不能改变了，因为题目要求的是在一次移动中捕获到的车的数量。所以其实就是一棵树，根节点是R，上下左右为4条树枝，每条树枝也只有一条分叉，因为确定移动方向后就不能变了。根据这个树，就想到了 DFS。DFS一般都是作为一个子函数调用的。结合代码看：因为题...
2020-03-26 09:28:52
246
原创 08 python与mysql 分组 筛选 别名 group by having as
分组介绍命令语句语法分组分组后的数据筛选介绍分组的目的，其实还是为了聚合，更好地统计各组的数据。命令语句按照字段分组，表示此字段相同的数据会被放到一个组中分组后，只能查询出该组里的数据，对于其它组的数据无法出现在结果集合中可以对分组后的数据进行统计，做聚合运算语法分组select 列1,列2,聚合… from 表名 group by 列1,列2,列3…高亮部分是分组依据。...
2020-03-25 19:34:27
416
原创 07 python与mysql 聚合 统计信息
聚合介绍应用介绍将现有的多行数据进行统计。基于原始数据集进行了聚合以后，会得到一个统计的结果 ，而看不到原始的数据集合了。聚合的目的就是为了统计。mysql常用的5个聚合函数：count(*) 统计总共有几行，括号中写*或者列名，结果是相同的。查询学生 总数select count(*) from studetnsmax(列)表示求此列的最大值查询女生的编号最大值select ...
2020-03-25 17:05:28
290
原创 06 python与mysql 查询3 范围查询 空判断 优先级
查询语句3范围查询例子注意：and如何匹配？空判断例子优先级范围查询可以是连续的范围或者不连续的范围in 表示在一个非连续的范围内between … and … 表示在一个连续的范围内例子查询编号是1或3或8的学生select * from students where id in(1,3,8);查询编号是3到8的男生select * from students where...
2020-03-25 16:08:53
224
原创 05 python与mysql 查询2 逻辑运算 模糊查询
查询语句2逻辑运算符例子模糊查询例子逻辑运算符andornot例子查询编号大于3的女同学两个条件：编号大于3 and 性别女select * from students where id>3 and gender=0;查询编号小于4或没被删除的学生select * from students where id<4 or isdelete=0;模糊查询l...
2020-03-25 15:26:19
118
原创 leetcode 892. 三维形体的表面积 python
leetcode 892. 三维形体的表面积题目描述题解题目描述题解思路：二话不说，先解一遍题目。思路挺简单的，就是一个个格子地去算，先算柱子的表面积：假设有n个正方体立起来，那么它本身的表面积就是 n×6-(n-1)×2，如果是0个，那么表面积就是0（这里注意要特殊设定，否则按上面的式子算，是会得到负数的）。然后每一个格子，再循环它的四个面，减去四个面与邻居贴着的面积。上代码cl...
2020-03-25 09:17:26
1279
原创 04 python与mysql 查询1 基础查询 distinct where
查询语句1基础查询无筛选查询有筛选查询去掉重复元素条件查询where子句基础查询无筛选查询select * from students查看students表的全部信息，✳表示全部。有筛选查询select id,name from students查看students表的id和name字段信息去掉重复元素select distinct gender from studen...
2020-03-24 15:20:11
280
原创 leetcode 面试题 17.16. 按摩师 python
leetcode 面试题 17.16 按摩师题目描述题解题目描述题解思路：分析题目，主要是要至少隔开一个数，才能相加，然后发现其实和 leetcode 746.题很像，链接：746。所以借鉴746的思想，同样可以画出和746那样的楼梯图，只不过这里要多加一个s2来存储中间相隔的那一级的值。和746的区别就是 相隔一级，所以加了一个s2。上代码class Solution: ...
2020-03-24 10:50:18
170
原创 leetcode 945. 使数组唯一的最小增量 python
leetcode 945.题目描述题解题目描述题解想要找思路，先自己解一遍题吧。然后发现只要遇到断节的地方就行了。比如：[3,2,1,2,1,7]，1~3都有了，4没有，所以就可以把第二个2加到4，然后4就有了，就要找下一个没有出现过的数，比如5…以此类推，所以想到用一个变量记录没出现过的最小数。但是这个数其实很难找，首先从整个列表的最小值开始找起，递增一个个对比着去找，很麻烦。而且找到之...
2020-03-22 17:21:28
162
原创 leetcode 105.从前序与中序遍历序列构造二叉树 python 剑指offer系列 4 面试题07. 重建二叉树
leetcode 105.从前序与中序遍历序列构造二叉树题目描述题解题目描述题解思路：首先要了解前序遍历preorder（根左右），中序遍历inorder（左根右）。所以想到，整个树的根节点肯定就是preorder的第一个数—> [根 | 左右 ]。确定了整个树的根之后，看到中序遍历，咦，不久能把左子树的点和右子树的点切开了吗？----> [左 | 根 | 右]（注意题目有...
2020-03-22 16:55:28
210
原创 leetcode 746.使用最小花费爬楼梯 python
leetcode 746.题目描述题解题目描述题解先分析一下题目，就是一次可以跳一级或跳两级，这个就和 青蛙跳台阶 那题很像，只不过这里每一级加了一个花费。思路：（结合下图看）求到达当前阶梯C的耗费时，有两种可能：从s1跳两级上来；从s2跳一级上来。那么选择跳两级还是跳一级呢？就选耗费小的那一种方法，也就是min(s1,s2). s1和s2表示到达它们所在的楼梯的最小耗费。C = c...
2020-03-22 14:25:19
207
原创 04 python与mysql 逻辑删除
逻辑删除 isDelete对于数据库中的数据，我们不希望直接删除，因为一旦删除，就找不回来了，所以不要用物理删除，而用逻辑删除。在表当中，再添加一个字段isDelete，用来表示该数据是否被删除。设置为bit类型，默认值为0，表示没有被删除。要删除某个数据的话，就将0改为1即可。...
2020-03-21 23:40:58
274
原创 03 python与mysql navicat基本操作 建数据库 建表 新增数据
连接好 linux的mysql数据库后，新建一个数据库python3。数据存储格式为utf-8.一个数据库里包含很多东西数据都存放在表中，我们拿到产品经理的设计之后，就进行阅读分析，设计E-R模型。模型中的实体就是一个个表。新建一个学生表表中的一个个字段就是实体的一个个属性（1）字段id：类似学生的学号，这是学生的唯一标识，每个学生都有不同的id。类型选择int（整型）。注释部分：...
2020-03-21 22:20:18
596
原创 Navicat连接虚拟机Linux的Mysql数据库
首先要在虚拟机中安装SSH，百度一下就懂了，之后我想起来的话也可以再补上。虚拟机的防火墙要关闭。我之前的navicat是11版本，有bug…一直有一个key的错误，要升级，我后来卸载又重装了11.27的版本就成功了。错误：expected key exchange group packet form servernavicat新建连接进入 SSH，选择使用SSH，ip...
2020-03-21 18:47:58
760
1
原创 02 python与mysql E-R模型与3范式
E-R模型与3范式简介E-R模型三范式简介数据库系统解决的问题：持久化存储，优化读写，保证数据的有效性当前使用的数据库，主要分两类：文档型，如sqlite，就是一个文件，通过对文件的复制完成数据库的复制，对读写有有优化，主要用在移动端服务型，如mysql，将数据存储在一个物理文件中，但是需要使用终端以tcp/ip协议连接，进行数据库的读写操作。需要安装服务端（耗电大，占用内存大，所以不...
2020-03-21 13:15:11
254
原创 leetcode 面试题 03.02. 栈的最小值 python
leetcode 面试题 03.02. 栈的最小值题目描述题解题目描述题解思路：栈的特点：先进后出，在python中使用List模拟。pop和push都很简单主要是可以随时返回最小值，不能简单的只用一个变量记录最小值，因为一旦最小值被pop，那么上一个最小值，我们就不知道了…所以要再用一个栈随时记录最小值，当数据栈有数据pop时，最小值栈也跟着popclass MinStack:...
2020-03-20 15:54:20
243
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人