- 博客(32)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hive学习笔记二——常用内置函数
hive函数使用*常用内置函数*1、类型转换函数eg：select id,cast(birthday as date) as bir,cast(salary as float) from t_fun; 2、数学运算函数round(5,4) -> 5 四舍五入round(5.1314,3) -> 5.135 保留三位小数及四舍五入ceil(5.4) -> 6 向上取整floor(5.4) -> 5 向下取整abs(-5
2020-09-29 19:24:42
210
原创 hive学习笔记一——基础
hive查询的是HDFS上的数据库，可安装在任意一台机器。首先，设置基本参数，让hive使用起来更便捷1、让提示符显示当前库 hive> set hive.cli.print.current.db=true;2、显示查询结果时显示字段名称 hive> set hive.cli.print.header=true;在linux的当前用户目录中，编辑一个.hiverc文件，将参数写入其中：vi .hivercset hive.cli.print.header=true;set hi
2020-09-28 18:39:56
218
原创 Linux学习笔记之shell
shell基础知识shell种类：sh【linux】 如 bash、csh【unix】不同的操作系统使用不同的shell，同一个kernel上可以使用不同的shell1、查看使用shell：echo $SHELL2、shell环境定义：临时环境变量——仅当前环境有效将临时变量永久生效——将环境变量定义写入到配置文件中 【/etc/profile 针对系统所有用户生效】 【$HOME/.bash_profile 特定用户生效】系统预定义的环境变量 如：echo $PWD /$HO
2020-09-28 16:10:37
192
原创 Linux学习笔记之环境配置和常用管理命令
一、环境配置修改ip地址（略过）1、网络通信命令<1> ping 测试网络的连通性ping 选项 IP地址-c 指定发送次数<2> ifconfig 查看和设置网卡网络配置ifconfig [-a] [网卡设备标识]-a 显示所有网卡信息<3> netstat 用于检测主机的网络配置和状况-a 显示所有连接和监听端口-t 仅显示tcp相关选项-u 仅显示udp相关选项-n 使用数字方式显示地址和端口号-l 显示监控中
2020-09-08 12:30:50
154
原创 Linux学习笔记之VIM/VI文本编辑器
一、VIM工作模式1、插入命令a 在光标后附加文本A 在本行行末附加文本i 在光标前插入文本I 在本行开始插入文本o 在光标下插入新行O 在光标上插入新行2、定位命令:set nu 设置行号:set nonu 取消行号gg 取消行号G 到最后一行nG 到第n行:n 到第n行3、保存和退出命令:w 保存修改:w new_filename 另存为指定文件:w >> a.txt 内容追加到a.txt中（文件须存在）:wq 保存
2020-09-07 20:43:58
109
原创 Linux学习笔记之文件及系统命令
一、善于查看man help等帮助文档【利用Tab键，自动补全】ctrl+C 终止当前进程ctrl+Z 挂起当前进程ctrl+r （查看命令历史）historyctrl+l 清屏，与clear命令同ctrl+a 行首ctrl+e 行尾ctrl+k 清除ctrl+w 清除单词二、文件搜索命令1、find [搜索路径] [匹配条件]作用：查找文件或目录-name 按名称查找（精准）-iname 按名称查找-size 按文件大小进行查找【以
2020-09-07 12:51:09
131
原创 Linux学习笔记之常用命令
命令格式： 命令 [选项] [参数]（1）su命令作用：切换用户身份语法：su [选项] 用户名- 表示用户的环境变量一起切换- c 表示仅执行一次命令，不切换用户身份文件处理命令CRUD：（1）cd [目录]作用：切换目录/ 切换到根目录… 回到上一级目录. 当前目录- 显示并打开上一次操作的命令~ 当前用户的宿主命令（2）ls [-alrRd] [文件或目录]作用：显示目录文件-a 显示所有文件（all）-l 显示详细信息（long）-R 递归显示当前目录下
2020-09-07 12:09:06
93
原创 数据结构学习记录——中缀表达式转后缀表达式
中缀转后缀具体步骤：（1）初始化两个栈：运算符栈s1和存储中间结果的栈s2（2）从左至右扫描中缀表达式（3）遇到操作数时，将其压入s2（4）遇到运算符时，比较其与s2栈顶运算符的优先级：1）如果s1为空，或栈顶运算符为左括号“（ ”，则直接将此运算符入栈2）否则，若优先级比栈顶运算符的高，也将运算符压入s13）否则，将s1栈顶到的运算符弹出并压入到s2中，再次转到（4）-1）与s1中新的栈顶运算符相比较（5）遇到括号时：1）如果是左括号"("，则直接压入s12）如果是右括号")",则依次
2020-07-10 21:21:35
221
原创 数据结构学习记录——前缀中缀后缀表达式及后缀实现计算器
栈的三种表达式：前缀表达式（波兰表达式）（1）前缀表达式又称波兰式，前缀表达式的运算符位于操作数之前（2）如：（3+4）× 5-6对应的前缀表达式是 - × + 3 4 5 6前缀表达式的计算机求值：从右至左扫描表达式，遇到数字时将数字压入堆栈，遇到运算时，弹出栈顶的两个数，用运算符对它们作相应的计算（栈顶元素和次顶元素），并将结果入栈；重复上述过程直到表达式最左端，最后运算得到的值即为表达式的结果。针对前缀表达式求值步骤如下：（1）从右至左扫描，将 6 5 4 3压入堆栈（2）遇到 + 运
2020-07-10 14:30:17
257
1
原创 数据结构学习记录——栈实现综合计算器(中缀表达式)
使用栈完成计算一个表达式的结果：数栈 numStack:存放数符号栈operStack:存放运算符思路：1、通过一个index值（索引），来遍历我们的表达式2、如果我们发现是一个数字，就直接入数栈3、如果发现扫描到的是一个符号，分如下情况解决：如果当前符号栈为空，就直接入栈如果符号栈有操作符，就进行比较，若当前操作符优先级小于或者等于栈中的操作符，就需要从数栈中pop出两个数，再从符号栈中pop出一个符号，进行运算，将得到的结果如数栈，然后将当前操作符入符号栈；如果当前操作符优先级大于栈中操
2020-07-09 15:46:56
155
原创 数据结构学习记录——栈及用数组模拟栈
1、栈（Stack）2、是一个先入后出的有序列表3、栈是限制线性表中元素的插入和删除，智能在线性表的同一端进行的一种特殊线性表。允许插入和删除的一端为变化的一端，称位栈顶（Top），另一端为固定的一端，称为栈底（Bottom）4、根据栈的定义可知，最先放入栈中的元素在栈底，最后放入的元素在栈顶，而删除元素正好相反，最后放入的元素最先删除，最先放入的元素最后删除。栈的应用场景：1、子程序的调用：唉跳往子程序前，会先将下个指令的地址存到堆栈中，直到子程序执行完后再将地址取出，以回到原来的程序中。2、
2020-07-09 13:51:12
210
原创 数据结构学习记录——双向链表及其在约瑟夫问题上的应用
环形链表约瑟夫问题构建一个单向的环形链表思路：1、先创建第一个节点，让first指向该节点并形成环形2、后面当我们每创建一个新节点，就把该节点加入到已有的环形链表中即可遍历环形链表：1、先让一个辅助变量（指针）curBoy，指向first节点2、然后通过一个while循环遍历该环形链表即可curBoy.next == first结束根据用户的输入，生成一个小孩出圈的顺序如：n=5，即有5个人k=1，从第一个人开始报数m=2，数2下1、需要创建一个辅助指针helper，事先应该指向环形
2020-07-08 16:44:05
139
原创 数据结构学习记录之单链表相关试题——方法实现
一、获取单链表节点的个数（如果是带头节点的链表，需求不统计头节点）/***@param head 链表的头节点*@return 返回的就是有效节点的个数*/public static int getLength(HeroNode head){ if(head.next == null){ //空链表 return 0; } int length = 0; //定义一个辅助的变量,这里没有统计头节点 HeroNode cur = head.next; while(cur != n
2020-07-07 15:56:49
189
原创 数据结构学习记录（四）——单链表之插入、修改、删除节点
链表：1、链表是以节点的方式来存储，是链式存储2、每个节点包含data域，next域（指向下一个节点）3、链表的各个节点不一定是连续存放的4、链表分带头节点的链表和没有头节点的链表，按照实际需求来确定单链表的应用实例实现水浒英雄排行榜管理1、完成对英雄人物的增删改查操作2、第一种方法在添加英雄时，直接添加到链表的尾部3、第二种方法在添加英雄时，根据排名将英雄插入到指定位置（如果有这个排名，则添加失败并给出提示）头节点：不存放具体数据表示单链表的头，其next域指向下一个节点clas
2020-07-07 14:32:11
667
6
转载 数据结构学习记录（三）——队列之数组模拟环形队列
思路分析：1、front变量的含义做调整：front指向队列的第一个元素。即arr[front]就是队列的第一个元素。front的初始值=0.2、rear变量的含义做调整：rear指向队列的最后一个元素的后一个位置，因为希望空出一个空间作为约定.rear的初始值=0.3、当队列满时，[rear + 1] % maxSize = front 【满】4、队列为空的条件，rear == front 【空】5、这样分析后，队列中有效的数据个数为(rear + maxSize - front) % maxS
2020-07-02 14:59:49
151
原创 数据结构学习记录（二）——队列之数组模拟队列
思路：//使用数组模拟队列编写一个ArrayQueue类class ArrayQueue{ private int maxSize;//表示数组的最大容量 private int front;//指向队列头的指针 private int rear;//指向队列尾 private int[] arr;//该数组用于存放数据，模拟队列 //创建队列的构造器 public ArrayQueue(int arrMaxSize){ maxSize = arrMaxSize; arr = ne
2020-07-02 14:16:52
141
原创 Hadoop（二）——HDFS的 I/O 流操作
API操作的HDFS系统都是框架封装好的，可以采用 I/O 流的方式实现数据的上传和下载。HDFS文件上传1、需求：将本地D盘上的honglou.txt文件上传到HDFS根目录2、代码块@Testpublic void putFileToHDFS() throws IOException,InterruptedException,URISyntaxException{ //1、获取文件系统 Configuration configuration = new Configuration();
2020-07-01 17:50:00
200
原创 数据结构学习记录（一）——稀疏数组
稀疏数组：当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。稀疏数组的处理方法：（1）记录数组一共有几行几列，有多少个不同的值；（2）把具有不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序的规模二维数组 转 稀疏数组 的思路：1、遍历原始的二维数组，得到有效数据个数 sum2、根据sum创建稀疏数组 sparseArr int[sum+1][3]3、将二维数组的有效数据存入到稀疏数组稀疏数组 恢复到 原始二维数组思路：1、先读取稀疏数组的第一行
2020-07-01 16:23:35
191
2
原创 Hadoop(一)----HDFS的API操作
HDFS文件上传1、源代码`@Testpublic void testCopyFromLocalFile() throws IOException,InterruptedException,URISyntaxException{ //1、获取文件系统 Configuration configuration = new Configuration(); configuration.set("dfs.replication","2");//副本数 FileSystem fs = FileSyste
2020-07-01 12:42:45
210
原创 MySQL 08DCL管理用户、授权
一、管理用户添加用户：create user ‘用户名’@‘主机名’ identified by ‘密码’;删除用户：drop user ‘用户名’@‘主机名’;修改用户密码：set password for ‘用户名’@‘主机名’ = password(‘新密码’); 或者 update user set password=password(‘新密码’) where user=‘用户名’;查询用户：* 切换到mysql数据库 use mysql；* 查询us
2020-05-18 14:49:07
162
原创 MySQL 07多表查询、事务
一、多表查询笛卡尔积：有两个集合A、B，取这两个集合的所有组合情况。要完成多表查询，需要消除无用的数据。查询语法：select 列名列表 from 表名列表 where ……多表查询的分类：内连接查询隐式内连接：使用where条件消除无用数据显式内连接：select 字段列表 from 表名1 inner join 表名2 on 条件；注意：从哪些表查询数据；条件是什么‘查询哪些字段外连接插叙左外连接：select 字段列表 from 表1 left join 表2
2020-05-18 13:35:21
165
原创 MySQL 06数据库的设计
一、多表之间的关系分类：一对一、一对多（多对一）、多对多实现关系：一对多：在多的一方建立外键，指向一的一方的主键多对多：是、多对多关系实现需要借助第三张中间表。中间表至少包含两个字段作为第三张表的外键，分别指向两张表的主键。一对一：在任意一方添加唯一外键指向另一方的主键。二、数据库设计的范式概念：设计数据库时需要遵循的一些规范。分类：第一范式、第二范式、第三范式等。几个概念：函数依赖：A --> B，如果通过A属性（组）的值，可以确定唯一B属性的值，则称B依赖于A。
2020-05-18 10:18:18
190
原创 MySQL 05约束
概念：对表中数据进行限定，保证数据的正确性、有效性和完整性。分类：主键约束、非空约束、唯一约束、外键约束。非空约束：not null ，值不能为null操作：创建表时添加非空约束、创建表后添加非空约束、删除该非空约束唯一约束：unique ，值不能重复操作：创建表时添加唯一约束、创建表后添加唯一约束、删除唯一约束主键约束：primary key注意：主键非空且唯一，一张表只能有一个字段为主键，主键就是表中的唯一标识。操作：创建表时添加主键约束、删除主键、创建完表后添加主键
2020-05-18 09:41:25
107
原创 MySQL 04DML增删改表中数据、DQL查询表中的记录
1、DML添加数据语法：insert into 表名 （列名1，列名2……列名n） Values （值1，……值n）;注意：列名要和值一一对应；如果表名之后不定义列名则默认给所有列添加值；除了数字类型，其他类型需要使用引号（单引号双引号均可）引起来。删除数据语法：delete from 表名 where 条件;注意：如果不加条件则删除表中所有记录；删除所有记录：delete from 表名；truncate table 表名；修改数据语法：update
2020-05-18 09:22:14
185
原创 MySQL 03DDL操作数据库、表
1、操作数据库【C、R、U、D】C（create）：创建创建数据库：create database 数据库名称;判断数据库不存在后再创建该数据库：create database if not exists 数据库名称;创建数据库并指定字符集（gbk、utf8等）：create database 数据库名称 character set 字符集名称：练习：判断数据库db4是否存在并创建且指定字符集gbk：create database if not exis
2020-05-17 22:41:41
143
原创 MySQL 02SQL基础
1、SQL通用语法SQL语句可以单行或多行书写，以分号结尾可以使用空格和缩进增强语句的可读性MySQL数据可的SQL语句不区分大小写，但关键字建议大写3种注释方法单行： --空格 或 #空格 多行：/……/2、SQL分类DDL（Data Definition Language）数据定义语言定义数据库对象：数据库、表、列等关键字：create、drop、alter等DML（Data Manipulation Language）数据操作语言用来对数据库中表的数据进行增、删、
2020-05-17 22:16:40
109
原创 MySQL 01初识
【在B站一门网课上的学习笔记记录，请多多指教】数据库是数据存储的集合，表是数据结构化的信息。列存储表中的组织信息，行存储表中的明细记录。主键是表中的唯一标识，不具有业务意义。Mysql服务启动cmd – > services.msc打开服务窗口使用管理员打开cmd：net start mysql——启动服务net stop mysql——关闭服务Mysql登录方式1、mysql -uroot -p密码2、mysql --hip -uro
2020-05-17 19:05:40
299
原创 第四周 数据可视化
1、数据可视化之美目的：让数据更高效、让读者更高效阅读、突出数据背后的规律、突出重要的因素、更美观。2、图表的基础概念维度和度量Dimension：描述分析的角度和属性，分类数据（时间、地理位置、产品类型等）。Measure：具体的参考数值，数值数据（元、销量、销售金额等）。3、常见的基础图表散点图——主要解释数据之间的规律。 气泡图是散点图的变种，引入第三个度量作为气泡的大小。单轴散点图——维度作Y轴，更倾向于洞察数据在不同类别下的数据规律。折线图——常用来观察数据随时间
2020-05-17 18:54:27
433
1
原创 第三周 Excel
1、Excel的学习路径Excel、SQL——敏捷、快速、需求立即响应的需求Python、BI、ETL——常规、频繁、可复用可工程化的需求Excel函数：用图形界面了解函数SQL函数：用封装好的脚本语言了解函数Python函数：了解编程函数2、Excel知识常见函数：文本清洗类、关联匹配类、逻辑运算类、计算统计类、时间序列类等3、常见文本清洗函数【Find】、【Substitute】、【Left】、【Right】、【Mid】、【Text】、【Concatenate】、【Trim】、【R
2020-05-17 18:26:41
171
原创 第二周 业务
打卡秦路老师数据分析课程1、业务模型模型未动，指标先行——如果你无法衡量它，你就无法增长它销售、运营、市场 --> 指标 --> 推动业务、机器学习、管理建立指标的要点：（1）核心指标 （2）好的指标应该是比率 （3）好的指标应该能带来显著效果 （4）不应该虚荣 （5）不应该复杂2、市场营销指标客户/用户生命周期、用户价值RFM模型【R——最近一次消费时间，M——总消费金额，F——消费频次】用户分群、营销矩阵——提取用户的几个核心维度、用象限法将其归纳和分类3、产品运营指
2020-05-17 18:09:40
299
原创 第一周 数据分析思维
打卡秦路老师数据分析课一、数据分析的三种核心思维：结构化、公式化、业务化结构化：将分析思维结构化：【将论点归纳和整理】、【将论点递进与拆解】、【将论点完善和补充】。如：思维导图——SWOT方法。公式化：一切结构皆可量化、上下互为计算、左右呈关联、最小不可分割。使用函数进行加、减、乘、除运算。不同类别的业务叠加可以用加法。减法常用来计算业务间的逻辑关系。乘法和除法是各种比例或者比率。业务化：从业务方出发，贴合业务、考虑执行力等。用结构化思考 + 公式化拆解，获得的最终分析论点很多时候
2020-05-17 16:25:16
306
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人