- 博客(39)
- 收藏
- 关注
RSS订阅转载 postgresql创建自增列
CREATE TABLE table_name ( id SERIAL );转载：PostgreSQL创建自增列 - JinX-Digital - 博客园
2022-05-18 10:09:42
916
转载 group by与sum一起进行数据统计
记录一下:sql统计的题目，要求根据已经知道的表编写sql统计成另一张表。需求是这样的，有一张teacher表记录了每一位老师在哪一天有课程，表结构如下：这个sql是正确的，在使用group by的语句中，查询语句必须是group by后的字段或者是统计函数，那么这个sum统计是基于分组内部每一行的数据的。转载:group by与sum一起进行数据统计 - moonsoft - 博客园...
2022-02-21 09:40:23
881
原创 Spark: foreach,map,foreachPartition
foreach算子对RDD中数据遍历，通过累加器进行计算，没有返回值,是在Driver端执行.(action算子)。 map算子对RDD中数据遍历，通过累加器进行计算，有返回值,在executor端执行.(transformation算子)。 mapPartitions:用于遍历操作RDD中的每一个分区，返回生成一个新的RDD（transformation算子）。 foreachPartition: 用于遍历操作RDD中的每一个分区。无返回值(action算子)。 ...
2022-01-07 18:29:21
1011
转载 Spark和Flink中的宽依赖和窄依赖
Spark 中：窄依赖：上游 RDD 流向至多一个下游 RDD ；宽依赖：上游 RDD 流向多个下游 RDD 。这里的宽和窄，说的是当前节点流向下游节点，当前节点数据是否会分区变多份。宽依赖往往需要 shuffle 操作，stage 会增加。宽依赖导致当前节点分区，可能增加数据传输量，下游故障导致当前整个 RDD 重新计算，浪费。不同算子产生相应的宽窄依赖。Flink 中也有 stage 的概念，叫 task，多个算子合成一个 task，合成条件要满足：上下游的并行度一致 ..
2022-01-03 18:50:32
441
原创 报错已加载插件：fastestmirror, langpacksLoading mirror speeds from cached hostfileThere are no enabled repos
报错:错误原因: 没有配置yum源解决办法: 修改并保存/etc/yum.repos.d/CenOS-Base.repo, 文件内容如下：# CentOS-Base.repo## The mirror system uses the connecting IP address of the client and the# update status of each mirror to pick mirrors that are updated to and# geographic.
2022-01-02 13:00:09
11078
原创 一个字节多少位
网址上看到的, 记录一下:1字节（byte） = 8位（bit） 在16位的系统中（比如8086微机） 1字 （word）= 2字节（byte）= 16（bit） 在32位的系统中（比如win32） 1字（word）= 4字节（byte）=32（bit） 在64位的系统中（比如win64）1字（word）= 8字节（byte）=64（bit） C类型 32 64 char ...
2021-12-31 15:36:41
18352
原创 kafka-eagle网页端时出现错误
在CentOS7上启动kafka能正常启动，但在访问kafka-eagle网页端时出现错误我用的kafka-eagle的jdbc address是mysql的,检查配置文件system-config.properties里面MySQL密码用户名对不对!!!原因:mysql密码登不上解决办法:检查配置文件里面mysql的密码用户名和mysql的登录用户密码是否一.修改完成后成功登录网页!...
2021-12-31 11:20:50
1804
原创 hdfs 默认字段分隔符
字段分割 \01map字段里面 key \03 value \02每行结尾用linux换行符 \0a'\r'是回车，'\n'是换行，前者使光标到行首，后者使光标下移一格，通常敲一个回车键，即是回车，又是换行（\r\n）。Unix中每行结尾只有“<换行>”，即“\n”；Windows中每行结尾是“<换行><回车>”，即“\n\r”；Mac中每行结尾是“<回车>”。https://blog.csdn.net/weixin_34384681/ar..
2021-12-30 10:16:15
1337
原创 错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain
启动zookeeper集群时发现主其中一台启动成功后jps查看发现这台没有QuorumPeerMain服务,其他几台都有.查看zookeeper.out日志文件发现报错:错误: 找不到或无法加载主类org.apache.zookeeper.server.quorum.QuorumPeerMain原因:缺少zookeeper-3.4.6.jar包解决办法:复制jar包到zookeeper目录下即可...
2021-12-26 11:20:23
4012
原创 junit报错:java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing
在idea 2019写代码进行测试时,报错java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing.发现是lib下面的junit-4.12.jar.上网查发现是junit-4.12.jar包不兼容,把原jar包删除,再把junit版本降到4.10即可
2021-12-18 10:00:05
303
原创 报错 org.apache.hadoop.hive.ql.metadata.HiveException: Exception when loading 1 in table
org.apache.hive.service.cli.HiveSQLException: Error running query: org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: Exception when loading 1 in table查询正常,但是insert overwrite 到表时,报这个错.查看output发现是文件系统关闭造成的,重启hadoop,.
2021-12-02 18:40:47
3910
原创 thrift服务报错:socket write error
报错信息: [08S01] org.apache.thrift.transport.TTransportException: java.net.SocketException: Software caused connection abort: socket write error解决办法:把所有的服务都重启一下，保证都启动良好，然后执行sql得时候，重新打开一个新会话...
2021-11-29 20:33:45
1151
原创 decimal问题:计算结果和精算表结果对比发现结果5舍6入
解决办法:把udaf自定义函数中的decimal位数增大一点即可 @F.pandas_udf("decimal(12,10)") def udf_lx(qx:pd.Series,lx:pd.Series) -> decimal: decimal.getcontext().rounding = "ROUND_HALF_DOWN" temp1 = Decimal(0) temp2 = Decimal(0) for i in ra
2021-11-25 18:17:23
1230
原创 dolphinscheduler创建租户失败问题
报错:创建租户失败-java.Lang.IlLegaLArgumentException: No constant org.apache.dolphinschedu解决办法:查看 dolphinscheduler_install(注意不是dolphinscheduler目录)目录下的common.properties文件,正确配置如下:resource.storage.type=HDFSresource.upload.path=/dolphinschedulerhdfs.root.us
2021-11-23 14:11:25
8535
原创 最详细小白入门Python22-死循环
死循环不是bug，是程序的一种特殊运行状态，程序员可以用死循环做很多事情 死循环就是循环条件永远满足的一种循环 # 什么是死循环? 循环条件永远满足,可以持续循环的代码# 死循环是bug么? 死循环不是bug可以利用死循环做很多事情# 死循环可以退出么? 可以,死循环就是循环条件永远成立,但是在程序内部可以有很多方法跳出循环, break# 猜拳游戏 (死循环进阶版)# 需求:在原来猜拳游戏的基础上,让电脑和玩家进行猜拳,一方达到3分则退出游戏,宣布获胜方,否则游戏持..
2021-10-14 20:52:25
1809
原创 最详细小白入门Python21-continue和break
continue ：跳出本次循环，进入下一次循环break ： 结束当前循环，后续循环次数不再执行break 和continue 只能在循环体中使用# continue: 跳出本次循环,继续执行下一次循环(不会影响循环的次数)# 需求: 吃苹果,一共吃五个.吃到第三个 有个虫子,扔掉第三个,继续吃第四个第五个# 注意,在循环结构中使用continue要在continue之前添加循环变量的自增,否则可能会造成无法跳出循环(死循环)i = 1while i <= 5: if
2021-09-19 17:29:48
143
原创 最详细小白入门Python21-循环之while循环
1、循环介绍 有条件的重复做相似的事情 Python中循环分为while 和for 2、while循环的使用 格式： while 条件： 循环体 while 循环的三个必要元素 while 关键字 循环条件 循环体 构造循环要想的四件事 初始状态 循环条件 要重复做的事情 循环控制 案例 # 需求:求1-100的累加和# 初始状态
2021-09-08 11:04:09
1972
原创 最详细小白入门Python20-三目运算
格式：条件成立时返回的数据 if 条件 else 条件不成立时返回的数据# 三元运算符又叫三目运算# 格式: 条件成立时返回的数据 if 条件 else 条件不成立时返回的数据# 需求输出a和b中的最大值a = 4b = 5max1 = a if a > b else bprint(max1)...
2021-09-03 18:05:34
221
原创 最详细小白入门Python19-猜拳游戏
# 需求:# 玩家键入拳型,电脑随机出拳# 比对玩家和电脑的拳型,如果玩家胜则输出玩家获胜,如果电脑获胜则输出电脑获胜,如果平局则输出平局# # 玩家键入拳型# player = int(input('请输入您要出的拳型:(0 石头 1 剪刀 2 布)'))# # 电脑随机出拳# computer = 2# # 比对拳型# # 玩家获胜情况: p: 0 c: 1 | p: 1 c: 2 | p : 2 c : 0# if (player == 0 and computer =
2021-08-28 10:50:21
115
原创 最详细小白入门Python18-分支语句嵌套
在分支语句中包含其他分支语句# 嵌套:在if语句控制的代码块中存在其他的if语句# 需求: 如果有钱可以上车(money) 如果上车了又座位可以坐下(seat)money = 12seat = Trueif money >= 2: print('快上车,里边有大座') if seat == True: print('快坐下吧,别累着') else: print('没有了')else: print('下车')# 判
2021-08-26 16:44:56
1325
原创 最详细小白入门Python17-分支语句
单一条件判断if 条件： 条件成立时执行的代码# 格式:'''if 条件: 条件成立时执行的代码'''age = int(input('请输入你的年龄:'))# 上网if age >= 18: print('上网')print('回家睡觉')对立条件判断if 条件： 条件成立时执行的代码else： 条件不成立时执行的代码 # if ... else ...'''if 条件: 条件成立时执行的代码else:
2021-08-24 15:30:43
122
原创 最详细小白入门Python16-短路运算
# 短路运算:a = 1b = 2# 当逻辑运算的第一个表达式已经可以决定整个逻辑运算的值的时候,后边的表达式将不会被运行print(a > b and a < b)# 在数值型数据中,非0即真# 在容器型数据中,非空即真# None 代表Falseprint(False and 1) # Falseprint(0 and True) # 0print(12 or False) # 12print(None and True) # Noneprint(Tru.
2021-08-21 16:58:00
357
原创 最详细小白入门Python15-逻辑运算
and 同真即真 or 同假即假 not 真变假 假变真 # and 同真即真print(True and False) # Falseprint(True and True) # Trueprint(False and True) # Falseprint(False and False) # False# or 同假即假print(True or False) # Falseprint(True or True) # Trueprint(Fal..
2021-08-17 18:12:10
73
原创 最详细小白入门Python14-比较运算
< > <= >= == != 比较运算就是比较数据值的大小 比较运算可以连续使用 比较运算中比较相等使用== 而 不能使用 = （赋值运算符） # < > <= >= != ==# 比较运算符运算结果为bool值,如果成立,则返回True 如果不成立则返回Falseprint(1 < 2) # Trueprint(5 > 6) # Falseprint(1 >= 0) # True...
2021-08-16 12:00:06
439
原创 最详细小白入门Python13-复合赋值运算符
+= -= *= /= //= %= **= 复合赋值运算符等号左侧一定是已经被定义的变量 复合赋值运算符右侧是已经被定义的变量或者值 # += -= *= /= //= %= **=a = 1# a += 1 >>> a = a + 1 将a中的变量取出与1相加得到的数值赋值给aa += 1print(a)# 符合赋值运算符等号左侧只能是已经定义的变量# 符合赋值运算符等号右侧可以是已经定义的变量或者值# NameError: name 'b
2021-08-15 14:21:09
392
原创 最详细小白入门Python12-赋值符号
= ：将等号右侧的值赋值给等号左侧的变量 可以给单个变量赋值： 变量= 值 可以给多个变量赋不同的值 ： 变量1， 变量2. 变量3 = 值1， 值2， 值3 可以给多个变量赋相同的值：变量1 = 变量2 = 变量3 = 值 # = (在Python中等号不是判断相等的而是赋值使用)# 赋值格式: 变量名 = 值# 给单个变量赋值a = 1# 同时给多个变量赋值# 等号左侧的变量数量一定要等于等号右侧的值的数量, 否则报错name, age, gend..
2021-08-14 10:34:31
934
原创 最详细小白入门Python11-算数运算符
+ - * / // % ** //取商 %取余 **幂次运算 在除法运算中,结果必定为浮点型 浮点型参与运算后,结果一定是浮点型 # + - * / % // **# 案例:求梯形的面积# a = float(input('请输入梯形的上底长度:'))# b = float(input('请输入梯形的下底长度:'))# h = float(input('请输入梯形的高:'))## print(f'梯形的面积为{(a + b) * h / 2..
2021-08-13 22:52:50
211
原创 最详细小白入门Python10-数据类型转换
数据类型转换是为了不同类型数据之间可以进行拼接或运算 格式：数据类型（要转化类型的变量或值） int和float类型直接可以随意转换 float转换为int类型只保留整数部分 int转换为float类型在末尾添加。0 如果数值型转换为str类型，可以随意转换 如果str类型转换为数值型 float 必须保证str引号内部是浮点型数据或整型数据 int 必须保证str引号内部是整型数据 # 需求: 在..
2021-08-12 14:58:33
88
原创 最详细小白入门Python9-f-string
f-string是Python3.6之后出现的格式化语法 格式：f'要输出的字符串{要拼接的变量}' f可以是大写，也可以是小写， 引号可以是单引号，也可以是双引号 精度控制 {浮点型变量：.nf} 保留n位小数，四舍五入 {整型变量：0nd} 保留n位，不足位用0补齐，如果超出则原样显示 %可以单独输出 # f-string是Python3.6以后推出的格式化方式name..
2021-08-11 20:23:22
260
原创 最详细小白入门Python8-转译字符
\n:换行符 \t：制表符 %%：在字符串格式化拼接时输出% # \n 换行符# 为什么两个print之间可以自动换行# 在print定义时自动在结尾加上了'\n'所以每次打印结束后,会自动换行print(123)print('hello world \n')print(456)# 如果不想让其自动换行, 在字符串输入结束后,使用end = '结束符' 可以修改print打印结束后插入的字符print(123, end='$$$')print(456)# ..
2021-08-10 09:09:31
233
1
原创 最详细小白入门Python7-bug和调试
bug调试工具的使用 打断点：在行号后边点击出现小红点 右键debug进入调试模式，代码执行暂停到断点位置代码执行之前 debugger ：查看参数及变量在执行过程中的变化情况 console：查看控制台输出内容 step over：单步执行代码 resume ：执行到下一次断点位置或者程序结束 stop：让程序终止 常见的bug类型：# NameError: name 'a' is not defin
2021-08-09 10:18:15
1537
1
原创 最详细小白入门Python5-字符串的格式化及输出
格式： 单占位符：'要书写的内容，占位符' % 变量名 多占位符: '要书写的内容，占位符1， 占位符2， 。。。。' % （变量1， 变量2，。。。。） %之前的占位符数量要和%之后的变量数量相匹配，一一对应否则会报错 # 字符串格式化 :格式化是字符串所具有的功能# print 输出: print函数只能将传入的内容显示到控制台中,与格式化没有任何关系# 需求:想让小明的年龄,跟着age变量的变化,不断发生变化,那么我们应该怎么做?age = 16prin
2021-08-05 10:08:14
335
1
原创 最详细小白入门Python4-变量
变量特性： 容器 临时 可变 变量定义的格式： 变量名 = 值 标识符的命名规则： 只能是数字字母下划线组成 首字母不能是数字 严格区分大小写 不能是关键字 在Python中定义变量必须赋值，否则报错 # 牛奶和可乐交换的案例'''交换方式:获取一个空杯子将牛奶倒入空杯子将可乐倒入原牛奶现空杯子的杯子中.....''''''..
2021-08-04 10:24:25
289
2
原创 最详细小白入门Python3-变量的使用
定义：变量名 = 值 调用：函数（变量名） 或者 使用变量名进行运算 变量名1 + 变量名2 变量必须先定义后调用 # 使用变量直接调用变量名即可,我们使用的是变量名,参与执行和运算的是变量中的数据(值)name = 'xiaoming' # 定义print(name) # 调用a = 1 # 定义b = 1 # 定义print(a + b) # 调用# 所有的变量,要先定义后调用# 程序运行起来后,从上到下依次执行代码,解释一行运行一行,在打印方法..
2021-08-03 11:52:19
207
原创 最详细小白入门python2-数据类型
# 数据类型查看的函数 type(数据/变量名)# 基础数据类型:int float bool# 容器类型: str list tuple set dict# 整型int1 = 12print(type(int1)) # <class 'int'># 浮点型float1 = 12.1print(type(float1)) # <class 'float'># 布尔型 (True/False)bool1 = Trueprint(type(bool1...
2021-08-02 16:11:31
150
1
原创 最详细小白Python入门1-注释
Python注释单行注释：ctrl+/或者选中多行注释 ctrl+/。可以在文件尾部加，不能换行多行注释：可以在注释内部换行注释:有提示作用,注释不参与代码执行,但是可以增加代码的可读性语法规范:单行注释#号与注释内容之间存在一个空格, 如果在语句末尾注释,语句和#之间要有两个空格单行注释print('hello world') #单行注释print('hello bigdata') print('hello python') # 打印Python,可以添加在语句的末尾 pr
2021-08-01 17:08:18
147
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人