- 博客(35)
- 收藏
- 关注
RSS订阅
原创 统计票数模块 票数统计、排序、统计信息描述
统计票数的实现思路：1.统计票数模块分为3个函数实现：counter（）票数统计，sort_by_value()统计后排序，describe（）统计信息描述。2.counter()函数：使用字典实现计数器是最常见的方式。首先声明空字典，之后循环参数也就是装有投票的列表，判断元素是否在字典中，如果在字典中，则对该元素值加1；如果不在字典中，则创建该元素，并将该元素的值赋值为1。3.sort_by_value()函数：当票数统计出来后，需要对其排序，并且设置取前n名的机制。如果候选人名非常多，可以只取前1
2020-06-07 21:36:06
2946
原创 Power BI 之 DAX上下文
当再计算列中创建公式时，该公式的行上下文将包括来自当前行中所有列的值。如果该表与其他表相关，则上下文还包括来自该其他表中与当前行相关的所有值。行上下文自动遵循表之间的关系，以便于确定相关表中哪些行与当前行相关联。...
2022-08-07 16:16:48
578
1
原创 Power BI 之数据建模
在其他数据库构造前都需要了解一些E-R实体属性关系模型，以及一些常用的维度建模，在Power BI中也利用数据表之间的关系，实现多表连接，实现特定的业务场景所需的数据分析结果。E-R实体关系模型在数据库概念模型中极为重要，通过实体之间的关系构成的数据模型将现实的实体抽象转换，存放进数据库中，需要注意的是在构建数据库是需要满足三范式。雪花模型和星型模型是维度建模的常用的模型，维度建模是以业务实际的需求出发构建模型，构建的数据模型需要服务于业务实际，因此我们需要注重于快速响应需求，注重在面向业务方面的实现。维
2022-08-06 16:52:39
2211
原创 初识Power BI
最近在学习Power BI这个强大的数据分析、可视化工具，在没有接触过Power BI时，我都是使用Python中Pandas、Matplotlib、Numpy类库或者用Echarts实现数据可视化。个人感觉，Power BI的数据清洗，数据分析，到数据可视化都能较为直观的展示，同时支持很多数据源，能够将Power BI嵌入到项目中，实用性很强，拿捏住了数据之间的黏性，多维和动态的特性，对于技术和非技术人员都能快速思考、理解清楚该组数据的含义，从而实现数据量化、有效化。直接入坑Power BI了哈哈哈哈哈，
2022-08-05 16:14:29
306
原创 Scala数组基本知识
数组基本知识1.不可变数组（1）创建不可变数组val arr：Array[Int] = new Array[Int](5) // 创建一个个数为5的不可变数组val arr1 = new Array(12,13,14,15,16) // 创建一个指定数据的不可变数组（2）访问元素arr1(0) //访问数组索引位置为0的元素 ,注意scala的使用方法与java的不同 (单个值)arr1(3)= 2 //更新索引为2的元素值（3）遍历数组方法一：
2021-06-27 20:49:23
385
原创 Hadoop分布式的搭建
Hadoop分布式的搭建此个Hadoop分布式的搭建是使用zookeeper做的协调，所以我的zookeeper集群，时间同步，免密码登陆，主机映射，和机器名都是已经做好了的。前几篇博客有写详细过程的。这一篇细细说道Hadoop分布式搭建。版本上可能不一致，但是方法都是完全大同小异的。因为是做集群的，所以三台机器都要有四个步骤。可以先在一台机器上配置，再远程复制到另外两台机器上去。步骤一：Hadoop安装包下载我使用Hadoop版本是2.7.2的可以把链接贴出来，要啥版本有啥版本https://ha
2021-05-03 19:20:53
84
原创 Zookeeper集群搭建
Zookeeper集群搭建zookeeper用的还是比较多的，搭建hadoop，kafka，hbase都需要使用zookeeper做协调！这篇文章记录我搭建zookeeper的过程，以及我踩过的一些小坑坑！和前面分布式环境搭建准备一样，我使用三台机器（一主两从）机器名IPmaster192.168.102.101slave01192.168.102.102slave02192.168.102.103...
2021-04-30 16:01:28
304
原创 CentOs7分布式集群准备：时间同步，免密码登录...
由于了有点痴呆的我老是记不住这些分布式搭建的小细节，就产出这一篇分布式的准备工作吧！集群环境我是用的是Vmware工作环境，镜像使用的是CentOs7，在虚拟机里面克隆出三台机器。如果是按照如下步骤来的，我是先改静态IP和机器名，当然，每台机器的机器名都不太一样，后续还需要改，如果已经克隆好三台机器的话，建议看我加粗部分的标题，获取你的答案，嘿嘿嘿！Vmware虚拟机配置静态IP（1）配置虚拟网络编辑器（图也不知道是哪来扣）（2）配置本地机器VMnet8配置VMnet8的IP地址，
2021-04-30 14:26:23
201
原创 Kafka的可靠性保证
Kafka的数据可靠性学得很happy，哈哈哈哈，整理一下笔记吧！多副本机制与传统的分布式系统相像，kafka中采用的是多副本机制，这样做能实现水平扩展、提供容灾能力、提升可用性和可靠性，越多的副本数越能够保证数据的可靠性。数据可靠性的保证：为了保证生产者发送得数据，能可靠得发送到指定的topic，topic的每个partition收到生产者发送的数据后，都需要向生产者发送ack，如果生产者收到acks，就会进行下一轮的数据发送，否则重新发送数据。副本数据同步策略方案①：半数以上完成同步
2021-04-29 10:53:41
85
原创 kafka入门基础知识
kafka的基础知识嗯，学完Kafka感觉脑袋一片空白，那就按思路整理整理吧！Kafka的学习笔记主要按照几个大块整理 ①基础知识； ②实现原理 ；③Java代码块Kafka的三大术语Producer：生产者，负责创建消息，投递到Kafka内。Consumer：消费者，负责连接到Kafka上接收消息，进行业务逻辑处理。Broker：服务代理节点，一个或多个Broker组成了一个Kafka集群，注意在配置server.properties时，一个集群内的broker值不能相同。Kafka的
2021-04-27 21:13:11
257
原创 Flume——memory channels
Flume综述Flume NG基本架构①一个agent包含Source,Channel,Sink和其他组件②一个agent对应一个配置文件③它利用这些组件将events从一个节点传输到另一个节点或最终目的1.简单的多个agent互联，上游的sink对应下游的source较复杂的多个agent互联，多个上游的sink对应下游的同一个source，并最终把数据写入HDFS基本组件介绍Event数据在flume中流转的基本单元Source它负责接收数据源，把外部数据输入
2021-03-18 15:48:14
531
原创 python——matplotlib的基本使用
Matplotlib绘图基础语法与常见参数1. 什么是Matplotlib库①Python提供了很多模块用于数据可视化，其中matplotlib、seaborn等模块。②Matplotlib是Python最著名的绘图库，它提供了一整套和matlab相似的命令API，其中的pyplot包封装了很多画图的函数。方便用户快速绘制2D图标。③Matplotlib绘制的常用图形包括散点图、折线图、柱状图、直方图、饼图、箱线图。2.搭建Matplotlib环境①windows系统安装Matplotlib，执
2021-03-18 14:26:20
933
原创 Python_Pandas_Series_DataFrame练习题
一、基本的Series操作1、可以基于一个list构造一个 s = Series([3, 8, -5, 1]) ，要求列表里的内容为学生本人学号，示范如下：import pandas as pds = pd.Series([2,0,1,9,2,7,5,5,0,2,4,3])print(s)2、访问Series对象的values属性和index属性import pandas as pds = pd.Series([2,0,1,9,2,7,5,5,0,2,4,3])print(s.index)
2021-03-09 21:01:49
3302
原创 python进阶学习———函数的参数
函数的参数形参和实参1.在实例计算元组内的元素中，参数“T”是形参，圆括号的“（1，2，3，4）”和“[3,4,5,6]”都是实参。形参表示函数完成其工作所需的一项信息。而实参是调用函数时传递给函数的信息。2.正式实参类型：必须参数、关键字参数、默认参数、不定长参数。必须参数在python中，必须参数也称为位置参数，在使用时必须以正确的顺序传入函数，在调用函数时，必须参数的数量必须和声明时的一样。实例：def printme(str): print(str) returnprin
2020-08-18 20:18:49
269
原创 python进阶学习———函数基础
函数基础在编写python程序中，可以将完成某个指定的语句提取出来，将其编写为函数。由此，在程序中可以多次方便地调用函数来完成这个功能，并且可以多次调用、多次完成这个功能，而不必重复地复制粘贴代码。能使程序结构更加清晰，更容易维护。定义函数1.在使用函数之前必须声明函数，然后才能调用它。在使用函数时，只要按照函数定义得形式，向函数传递必须得参数，就能调用函数完成相应的功能或者获取函数返回的结果。2.语法格式：def <函数名>（参数列表）: <函数语句> retur
2020-08-18 18:54:16
103
原创 python进阶学习———集合
集合在python中，集合用于保存不重复元素。集合最好的应用就是去重，因为集合中的每一个元素都是唯一的。集合的创建直接使用“{}”创建在python中，创建set集合也可以像列表、元组和字典一样，直接将集合赋值给变量从而实现创建集合，即直接使用大括号“{}”创建。1…语法格式：setname = {element1,element2,element3,......,element n}2.实例：set1 = {"张三","李四","王五"}set2 = {"python","java"
2020-08-17 20:31:43
127
原创 python进阶学习———字典
字典在python中，字典是一种比较特别的数据类型，字典中的每一个成员以“键：值”对的形式成对存在。字典是以大括号“{}”包围并且以“键：值”对的方式声明和存在的数据集合。字典与列表相比，最大的不同在于字典是无序的，其成员位置只是象征性的，在字典中通过键来访问成员，而不能通过其位置来访问该成员。字典的主要特征1.字典是由一系列“键：值”对构成的，每个键都与一个值相关连，可以使用键来访问与之相关联的值。2.在字典中可以存储任意个“键：值”对。3.每个“key：value”键值对中的键必须唯一的，
2020-08-17 18:59:43
316
原创 python入门学习——字符串处理函数
在python语言中提供很多个对字符串进行操作的函数字符串处理函数描述string.capitalize()将字符串的第一个字母大写string.count()将得字符串中得某一个子字符串的数目string.find()将的字符串中某一子字符串的起始位置，无则返回-1string.isalnum()检测字符串是否仅包含0-9,A-Z和a-zstring.isalpha()检测字符串是否仅包含A-Z和a-zstring.isdigit()检测字符
2020-08-16 19:07:46
114
原创 python入门学习———字符串
字符串字符串的介绍在python程序中，字符串类型“str”时最常见的数据类型。可以使用引号（或双引号）来创建字符串。（在英文语境下）（1）单引号字符串与双引号字符串本质上是相同的。但当字符串内含有单引号时，如果用单引号字符串，就会导致无法区分字符串内的单引号与字符串标志的单引号，因此要使用转义字符串。如果用双引号字符串，在字符串中直接书写单引号即可。（2）三引号字符串可以由多行组成，单引号或双引号字符串则不行，当需要使用大段多行的字符串时，就可以使用它。这是三引号（3）字符串中的字符可以包
2020-08-16 18:49:25
114
原创 python入门学习——条件语句
条件语句在python语言中，条件语句是一种选择机构，因为是通过if关键字实现的，所以称为if语句。if语句由保留字符if、条件语句和位于后面的语句组成，条件语句通常是一个布尔表达式，结果为true和false。最简单的if语句1.语法格式：if 判断条件： 执行语句.....上述格式中，当“判断条件”成立（非零）时，执行后面的语句，而执行内容可以多行，以缩进来区分表示同一个范围。当条件为假时，跳过其后缩进的语句，其中的条件可以是任意类型的表达式。2.使用基本的if语句x = input
2020-08-16 12:00:18
982
原创 python入门学习——循环结构
循环语句基本的for循环for循环是python语言中构造循环结构程序的语句之一，for循环通过循环遍历某一系列对象来构造循环，循环结束的条件就是对象遍历完成。每经过一个循环，循环变量就会得到遍历对象中的一个值，可以在循环中处理它。在一般情况下，当遍历对象中的值全部用完时，就会自动退出循环。for i in "python": print("当前字母：",i)#循环输出python中的各个字母ps：在循环已知的情况下，用于枚举或遍历序列，以及迭代对象中的元素。1.进行数值循环for i
2020-08-15 21:25:29
331
原创 python入门学习——元组
元组元组用于保存程序中的不可修改的内容。元组为不可变序列。元组的创建和删除1.使用赋值运算符直接创建元组a = (1,2,3,4,5)在python中，用一对小括号将所有元素包括起来，用逗号隔开。2.创建空元组tuple(date)空元组可以应用在为函数传递一个空值或者返回值3.创建数值元组tuple(range(1,10,2))#获取一个元组在1~10范围内，步长为2。使用tuple函数不仅能通过range对象创建元组，话可以通过其他对象创建元组。4.删除元组del tupl
2020-08-15 16:44:17
225
原创 python入门——列表
列表列表是由一系列按特定顺序排序的元素组成的。列表的创建和删除1.使用赋值运算直接创建和删除，例:list1 = [1,2,3,4]2.创建数值列表list(date)3.创建空列表list = []4.删除列表list = [1,2,3,4]del list列表元素的访问1.利用位置索引获取元素值list = [1,2,3,4]print(list[0])#获取列表第一位元素2.通过title()获取任何元素list = [1,2,3,4]print(list[
2020-08-14 21:33:14
349
原创 python入门基础———序列
列表序列1.定义：序列时用于存放多个连续的值，并且按照一定的顺序排列，每个值都有其特定的数字，称为索引或序列。2.结构：主要结构为列表、元组、集合和字符串。索引序列中的每一个元素都有编号，故称为索引。这个索引时从0开始递增，下标为0表示第一个元素，下标为1表示第二个元素，一次类推；假若时从最后一个元素开始读取，则称为负数序列索引。这个索引时从最后一个元素开始计数，，即最后一个元素是-1，倒数第二个元素为-2，以此类推。如下例：list = ["小明","小红","小李",5,"Limi
2020-08-14 19:05:13
348
原创 python入门学习——运算符
运算符运算符是一些特殊的符号，主要用于数学计算，比较大小和逻辑运算等。一、算数运算符1.定义：是处理四则运算的符号。2.常见的数值运算符：运算符作用+加-减*乘/除(除数不为0)%求余，返回除法的余数//取整数，即返回商的整数部分(除数不为0)**幂，即返回x的y次方3.算数运算符的用处:算数运算符可以直接对数值进行运算，也可对变量进行运算（变量提前定义数值）；当用于字符串中时可计算字符串重复指定次数的结果。4.算数运算
2020-08-13 20:51:49
130
原创 python入门学习——基本数据类型和变量
基本数据类型一、数字类型1.整数：没有小数的部的分数值用来表示整数数值。其中包括十进制数字、八进制数字、十六进制数字和二进制数字。进制表示0o[0O]数字：表示八进制整数，例如，0o24，0O24。0x[0X]数字：表示十六进制整数，例如，0x32，0X32。0b[0B]数字：表示二进制数字，例如，0b101，0B101。不带进制标志：表示十进制整数。2.浮点数：由整数部分和小数部分组成，用来处理有小数的数。十进制数形式：即简单的浮点数，例如，5.12，8.6.科学记数法形式：只有
2020-08-13 11:47:04
272
原创 python入门学习——输入输出
python输入与输出一、基本输入与输出1.使用print()函数将结果输出在IDLE或标准控制台上。2.语法格式：print("输出内容")#“输出内容”时字符串必须用引号括起来3.通常情况下，print()语句输出后会自动换行，若需要一次输出多个内容，就使用英文半角的逗号分隔开来。如下例：a=14print("中国有",a,"亿多的人口")二、使用input()函数输入1.使用内置函数input()可以接收用户的键盘输入。2.语法格式：a = input("请输入文字：")3.在
2020-08-13 09:28:31
518
原创 Linux用户和组管理笔记大全
Linux用户的组管理概念：用户：是任何一个使用系统资源的使用者。组：是具有相同特征用户的逻辑集合。用户和组的关系有：一对一，一对多，多对一，多对多。一对一：一个用户能存在一个群组中，也可以是组群中的唯一成员。一对多：一个用户可以存放在多个群组中，用户能具有多个组的管理权限。多对一：多个用户可以存放在一个群组中，用户和组就具有相同权限。多对多：多个用户可以存放在多个组群中。用户基础三种用户：超级用户，系统用户，普通用户超级用户：root最高权限，至高无上 （U
2020-07-20 12:28:59
182
原创 尚硅谷数据库基础学习笔记大全--进阶四--常见函数，单行函数（字符函数，数字函数，日期函数，其他函数，流程控制函数（if函数，case函数）），分组函数
常见函数概念：将一组逻辑语句封装在方法体中，对外暴露方法名。好处：1.隐藏了实现细节；2.提高代码的重用性。调用：select 函数名（实参列表）【from 表】单行函数一、字符函数函数作用length()获取参数值的字节个数concat()拼接字符串upper()lower()substr()substring()instr()返回子串第一次出现的索引，找不到则返回0trin()去前后空格lpad()
2020-06-11 09:59:12
180
原创 尚硅谷数据库基础学习笔记大全学习DQL进阶三-排序查询--语法--特点
排序查询语法select 查询列表from 表【where 筛选条件】order by 排序列表 【asc | desc】特点1.asc代表的是升序，desc代表的是降序，默认是升序。2.order by字句支持单个字段，多个字段，函数，别名，表达式。3.order by字句一般是放在查询语句的最后面，limit子句除外。...
2020-06-10 21:23:00
119
原创 尚硅谷数据库基础学习笔记大全学习DQL进阶二-条件查询语法，分类，条件表达式，逻辑表达式，模糊查询，like,in,is null, between and
#进阶二：条件查询语法：#查询顺序：首先查找表名,其次是筛选条件，最后再查询列表中符合条件的。select查询列表from表名where筛选条件分类：一、按条件表达式筛选简单条件运算符：>(大于)，<(小于)，=(等于)，<>(不等于)，>=(大于等于)，<=(小于等于)二、按逻辑表达式筛选逻辑运算符：and（并） or（或） not(取反)用于连接条件表达式三、模糊查询like 特点：一般与通配符搭配使用（%任意多个字符，包含0个字符
2020-06-10 09:25:33
161
原创 尚硅谷数据库基础学习笔记大全-特点-常见命令-语法规范-DQL语言的学习进阶一（查询列表，查询表达式，其别名，去重，+的作用，拼接字符串）
数据库是按照数据结构来组织、存储和管理数据的仓库。RDBMS即关系数据库管理系统的特点： 1.数据以表的形式出现 2.每行为各种记录名称 3.每列为记录各种所对应的数据域 4.许多的行和列组成一张表单 5.若干的表单组成datebaseMySQL的常见命令：1.查看当前所有数据库show datebase;;2.查看当前库的所有表show tables;;3.打开指定的库use 库名;；4
2020-06-09 14:36:35
162
原创 添加候选人模块的python代码
实现思路：1.将这个阶段要实现的功能放在同一函数里，并保存到一个文件中。2.使用列表保存存储候选人信息。3.实现候选人添加和删除候选人。（1.）让循环一直运行，使用break语句跳出循环。（2.）当录入-1.则删除最后录入的候选人。（3.）通过列表append（）和pop（）方法实现候选人的添加和删除操作。4.退出添加候选人阶段（1.）当录入0，则结束录入。（2.) 使用break跳出while循环。#投票系统的添加候选人模块def append_candidate(): l
2020-06-07 19:56:30
949
原创 vi编辑器的使用命令
vi编辑器的使用命令一般模式下的命令命令作用dd删除（剪辑）光标所在整行ndd删除（剪辑）从光标处开始的n行（n为整数）n1，n2dd删除从n1行到n2行.,$dd删除当前行到结尾的所有内容yy复制光标所在整行nyy复制从光标处开始的n行（n为整数）n显示搜索命令定位到下一个字符串N显示搜索命令定位到的上一个字符串u撤销上一步的操作P将之前删除（dd）或复制（yy）过的数据粘贴到光标后面G跳到这个文
2020-06-04 13:35:04
169
原创 如何使用vi编辑器
VI/VIM编辑器vi是Linux系统内建的文本编辑器。vim可看做vi的增强版，具有程序编辑的能力。三种模式一般模式：主要进行删除、复制、粘贴操作。编辑模式：主要进行文本的编辑操作。底行模式：主要对于已编写的文件保存，或退出编辑模式。编辑过程打开终端，输入vi 【文件名】（进入了一般模式）；输入 i：在光标前插入字符；a:在光标后插入字符，进入编辑模式，编写需要写入文件的内容；按Esc键退出到一般模式，再输入“：”或“/”进入底行模式；底行模式下可输入，wq
2020-06-03 22:49:31
791
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人