一些小坑
一些在做项目和刷题过程中遇到的小坑
五月天的小迷弟
这个作者很懒,什么都没留下…
展开
-
加载本地文件进入数仓发现大部分加载进去都变成了null
今天领导给了一个表格文件,需要导入数仓,然后和数仓的表进行join。我先把表格放入项目目录所在的本地地址,然后打开pycharm就能看到这个文件了,把这个文件上传到远程解释器。然后打开xshell,新建数仓临时表,登录hive,将本地文件加载进hive的临时表。一切和之前的操作一摸一样。但是,查询新建的临时表的时候,数据全是null,只有零星几个数字的数据有。原创 2024-01-17 11:52:19 · 429 阅读 · 0 评论 -
hive更改表结构的时候报错
ALTER TABLE table_name ADD COLUMNS (table_name type COMMENT '竞品公司id');ALTER TABLE table_name ADD COLUMN table_name type COMMENT '竞品公司id';comment后面的文字描述应该用单引号括起来,不能用双引号。原创 2023-11-14 18:07:08 · 779 阅读 · 0 评论 -
通过key在数仓里查询dt的时候报错
key应该被单引号括起来,字段名称才应该被双引号括起来。把单引号换成双引号就好了。原创 2023-11-14 16:09:54 · 138 阅读 · 0 评论 -
python smtplib.SMTP_SSL发送邮件,只有列表或者字符串最前面的邮箱才能收到邮件
这个发送邮件的代码前面把to这个变量变成以,分割的字符串以后就直接放到sendmail()这个方法里了。此处像途中对to进行分割就可以正常发送多人邮件了。原创 2023-11-14 11:41:06 · 146 阅读 · 0 评论 -
网络问题导致pycharm无法提交代码到代码仓库
可能不是自己权限有问题,而是网络有问题,等网络好一点的时候重新git push就可以提交成功了。原创 2023-11-13 17:20:51 · 212 阅读 · 0 评论 -
hive里因为列名用了关键字导致建表失败
在hive中row和percent都是关键字,所以会报错。原创 2023-11-13 12:01:12 · 1335 阅读 · 0 评论 -
字段 != null在pycharm中标黄
sql里没有!= null的写法,应该是is not null。原创 2023-11-09 14:38:30 · 77 阅读 · 0 评论 -
pyspark将数据多次插入表的时候报错
py4j.protocol.Py4JJavaError: An error occurred while calling o129.sql.: org.apache.spark.sql.catalyst.parser.ParseException:mismatched input 'INSERT' expecting (line 12, pos 0)原创 2023-11-08 17:57:04 · 866 阅读 · 0 评论 -
sparksql明明插入了但是表里数据是null
将数据插入表的时候,表里的数据是null。原创 2023-11-08 17:24:54 · 265 阅读 · 0 评论 -
文件换行符导致linux里运行python文件找不到文件
运行python代码的时候:报错信息:: No such file or directoryon3在pycharm中把文件的分隔符给改了这样,把文件的分隔符改成Unix and macOS就可以了原创 2023-11-07 16:44:27 · 211 阅读 · 0 评论 -
判断是否为平衡树易错点
采用递归的方法,一层一层求节点的左子树和右子树的高度以及左子树和右子树是否平衡。原创 2023-10-30 10:52:59 · 54 阅读 · 0 评论 -
hive建表的时候字段和分区字段重复
这个表是按照dt进行分区的,那么建表的时候表里就不该有dt这个字段。把建表语句的dt那一行删掉就好了。原创 2023-10-23 15:11:55 · 373 阅读 · 0 评论 -
null和没有一个元素的List不一样
LeetCode链接:https://leetcode.com/problems/encode-n-ary-tree-to-binary-tree。原创 2023-10-11 17:14:15 · 76 阅读 · 0 评论 -
基于pycharm配置kerberos
点击"Test Connection"的时候报错:The specified database user/password combination is rejected: [ 08S01] Could not open client transport with JDBC Uri: jdbc:hive2://cdh2.xxx.com:10000/;principal=hive/cdh2.xxx.com@xxx.COM;: Can't get Kerberos realm KrbException: Can原创 2023-10-07 15:18:41 · 155 阅读 · 0 评论 -
if __name__ == “__main__“:下面报错SyntaxError: invalid syntax if __name__ == “__main__“:
后来发现是main()函数里有个打印行为少了一个括号。这三行怎么改都改不对。原创 2023-09-25 10:21:00 · 424 阅读 · 0 评论 -
Hadoop启动datanode 的时候连接不上,Incorrect configuration: namenode address dfs.namenode.servicerpc-address
linux的hostname不可以存在下划线,我的hostname为hadoop_node01,将hostname改为node1之后,并且将Hadoop相关配置中的“hadoop_node01”全部改为“node1”之后在重新启动就可以正常运行了。原创 2023-08-11 20:12:33 · 543 阅读 · 0 评论 -
关于初始化启动HDFS未成功/opt/bigdata/hadoop-2.6.5/bin/hdfs line 276: /usr/java/default/bin/java: No such file
hdfs文件的第276行是这样的。原创 2023-08-10 15:16:42 · 346 阅读 · 0 评论 -
关于Xshell连接不上虚拟机
之所以会这样是因为我的虚拟机的ip配置是192.168.150.11而我的虚拟网卡的地址是192.168.100.0。将我的虚拟机的ip配置成192.168.100.11就能成功连接上了。原创 2023-08-06 17:33:20 · 51 阅读 · 0 评论 -
IDEA “Cannot resolve symbol”(无关Maven,无关配置)
看了很多教程都没写这种可能性,我寻思我就写个算法题咋还牵扯到Maven,pom文件之类的了,后来看到我的算法题里:把;改了就好了。原创 2023-08-01 01:43:57 · 112 阅读 · 0 评论 -
ping : www. baidu .com: Name or service not knowm
检查了自己更改之后的/etc/sysconfig/network-scripts/ifcfg-ens33文件,更改之后的ip和老师一样,没问题。跟着视频学hadoop,先克隆几个虚拟机然后更改ip,准备用Xshell连接克隆后的虚拟机操作的,但是发现Xshell连接不上虚拟机了。重启了一下网络服务,也依旧连不上www.baidu.com。原创 2023-07-27 02:57:32 · 281 阅读 · 0 评论 -
关于荷兰国旗问题(快速排序)应当注意边界
关于荷兰国旗问题其他帖子已经给出了非常详尽的解法描述,我在这里就只是简单概括一下:给定数arr,数组的左边界为l,右边界为r,以arr[r]为划分值。如果arr[p]原创 2023-06-18 09:49:27 · 64 阅读 · 0 评论 -
归并排序(前缀和):左组数据比右组数据的两倍大(以及关于整型数据类型的不等式进行变形的反思)
【代码】归并排序:左组数据比右组数据的两倍大(以及关于整型数据类型的不等式进行变形的反思)原创 2023-06-13 11:02:43 · 82 阅读 · 1 评论 -
关于单向链表反转问题空指针情况
报错信息:网上搜了搜,基本就是建议我声明next和pre指针的时候进行初始化,即pre = new Node()但是由于我给Node的定义是Node的value部分必须为int,而这个地方我需要将pre指向null,这就会变得非常麻烦。原创 2023-05-15 22:27:16 · 85 阅读 · 0 评论 -
关于二分法中取中点的特殊方法
二分法中取中点没有使用mid = (L + R)/ 2而是使用mid = L +(R - L) >> 2*)*主要原因是防止R和L过大导致(L + R)导致溢出。原创 2023-05-13 05:50:34 · 145 阅读 · 2 评论 -
ping其他网址时显示Name or service not known
修改CentOS7中,克隆一台虚拟机后修改虚拟机的ip。原创 2023-05-04 21:10:27 · 904 阅读 · 3 评论 -
关于VM Ware Workstation Player 14 虚拟机开机之后闪退
有可能是该虚拟机只是裸机,并没有安装操作系统。原创 2023-04-10 18:59:48 · 1135 阅读 · 2 评论 -
关于错误代码500”服务器错误啦“
商城项目,错误代码500,更改数据库配置文件原创 2023-04-01 04:52:46 · 98 阅读 · 0 评论 -
ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: NO)
关于在cdm输入mysql -hlocalhost -uroot –p会报错ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (using password: NO)这件事。看了很多网上的方法。最后发现问题出在输入的命令的字符上,如果用英文输入法重新自己打一遍,就可以正确运行了。原创 2023-03-31 02:27:05 · 79 阅读 · 0 评论 -
关于tomcat双击startup.bat的文件闪退
最近在做关于商城的项目,从网上能找到很多关于商城的源代码。但是从网上下载很多的项目自己跑的时候会遇到各种各样的问题。这次问题发生在某次我下载了一个新的商城项目想要自己跑的时候,一切都是按照网上最详细的教程配置的idea,tomcat用的是下载的源码自带的文件夹。原创 2023-03-30 06:50:01 · 536 阅读 · 0 评论 -
注意根据题目中数据的大小选择合适的数据类型
有数列为:9,99,999,...,9999999999。要求使用程序计算此数列的和,并在控制台输出结果。原创 2022-10-12 11:05:36 · 87 阅读 · 0 评论