大数据
大数据
五月天的小迷弟
这个作者很懒,什么都没留下…
展开
-
配置zookeeper的时候三个节点都启动了但是查询zookeeper的角色的时候显示没启动成功
搭建了一个音乐平台数仓,一共有五个节点,其中三个节点配置zookeeper,我的操作是先把这三个节点的zookeeper全部启动,然后再分别查询各自zookeeper的角色。原创 2024-04-04 04:15:48 · 649 阅读 · 0 评论 -
加载本地文件进入数仓发现大部分加载进去都变成了null
今天领导给了一个表格文件,需要导入数仓,然后和数仓的表进行join。我先把表格放入项目目录所在的本地地址,然后打开pycharm就能看到这个文件了,把这个文件上传到远程解释器。然后打开xshell,新建数仓临时表,登录hive,将本地文件加载进hive的临时表。一切和之前的操作一摸一样。但是,查询新建的临时表的时候,数据全是null,只有零星几个数字的数据有。原创 2024-01-17 11:52:19 · 424 阅读 · 0 评论 -
hive更改表结构的时候报错
ALTER TABLE table_name ADD COLUMNS (table_name type COMMENT '竞品公司id');ALTER TABLE table_name ADD COLUMN table_name type COMMENT '竞品公司id';comment后面的文字描述应该用单引号括起来,不能用双引号。原创 2023-11-14 18:07:08 · 772 阅读 · 0 评论 -
通过key在数仓里查询dt的时候报错
key应该被单引号括起来,字段名称才应该被双引号括起来。把单引号换成双引号就好了。原创 2023-11-14 16:09:54 · 137 阅读 · 0 评论 -
hive里因为列名用了关键字导致建表失败
在hive中row和percent都是关键字,所以会报错。原创 2023-11-13 12:01:12 · 1306 阅读 · 0 评论 -
字段 != null在pycharm中标黄
sql里没有!= null的写法,应该是is not null。原创 2023-11-09 14:38:30 · 71 阅读 · 0 评论 -
pyspark将数据多次插入表的时候报错
py4j.protocol.Py4JJavaError: An error occurred while calling o129.sql.: org.apache.spark.sql.catalyst.parser.ParseException:mismatched input 'INSERT' expecting (line 12, pos 0)原创 2023-11-08 17:57:04 · 844 阅读 · 0 评论 -
sparksql明明插入了但是表里数据是null
将数据插入表的时候,表里的数据是null。原创 2023-11-08 17:24:54 · 238 阅读 · 0 评论 -
文件换行符导致linux里运行python文件找不到文件
运行python代码的时候:报错信息:: No such file or directoryon3在pycharm中把文件的分隔符给改了这样,把文件的分隔符改成Unix and macOS就可以了原创 2023-11-07 16:44:27 · 205 阅读 · 0 评论 -
ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: NO)
关于在cdm输入mysql -hlocalhost -uroot –p会报错ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (using password: NO)这件事。看了很多网上的方法。最后发现问题出在输入的命令的字符上,如果用英文输入法重新自己打一遍,就可以正确运行了。原创 2023-03-31 02:27:05 · 73 阅读 · 0 评论 -
关于VM Ware Workstation Player 14 虚拟机开机之后闪退
有可能是该虚拟机只是裸机,并没有安装操作系统。原创 2023-04-10 18:59:48 · 1105 阅读 · 2 评论 -
ping其他网址时显示Name or service not known
修改CentOS7中,克隆一台虚拟机后修改虚拟机的ip。原创 2023-05-04 21:10:27 · 734 阅读 · 3 评论 -
关于Xshell连接不上虚拟机
之所以会这样是因为我的虚拟机的ip配置是192.168.150.11而我的虚拟网卡的地址是192.168.100.0。将我的虚拟机的ip配置成192.168.100.11就能成功连接上了。原创 2023-08-06 17:33:20 · 45 阅读 · 0 评论 -
关于初始化启动HDFS未成功/opt/bigdata/hadoop-2.6.5/bin/hdfs line 276: /usr/java/default/bin/java: No such file
hdfs文件的第276行是这样的。原创 2023-08-10 15:16:42 · 329 阅读 · 0 评论 -
基于pycharm配置kerberos
点击"Test Connection"的时候报错:The specified database user/password combination is rejected: [ 08S01] Could not open client transport with JDBC Uri: jdbc:hive2://cdh2.xxx.com:10000/;principal=hive/cdh2.xxx.com@xxx.COM;: Can't get Kerberos realm KrbException: Can原创 2023-10-07 15:18:41 · 140 阅读 · 0 评论 -
hive建表的时候字段和分区字段重复
这个表是按照dt进行分区的,那么建表的时候表里就不该有dt这个字段。把建表语句的dt那一行删掉就好了。原创 2023-10-23 15:11:55 · 335 阅读 · 0 评论 -
Hadoop启动datanode 的时候连接不上,Incorrect configuration: namenode address dfs.namenode.servicerpc-address
linux的hostname不可以存在下划线,我的hostname为hadoop_node01,将hostname改为node1之后,并且将Hadoop相关配置中的“hadoop_node01”全部改为“node1”之后在重新启动就可以正常运行了。原创 2023-08-11 20:12:33 · 510 阅读 · 0 评论