数据库
文章平均质量分 59
数据库相关,包括hadoop、hive、mysql等
xiaoshu_yilian
#为了早点下班陪闺女
我们的追求各有不同,但都希望能在有限的人生里,快速通往自己向往的目的地。
展开
-
Linux上安装mysql指南
我在装的时候,第5、6步报错了,先暂时跳过。最后一步server也报错了,由于server是本机搭建mysql数据库的,只是客户端可能也没必要装。mysql -h -u<用户名称> -p<用户密码> -P3306 --default-character-set=utf8。一开始,我自己下载了安装包,装了一个这个社区版的,rpm -qa | grep mysql。最后,看看我已经装好的包,只需要装mysql客户端这些就够了,不需要生产数据。查了资料,好像说要先把上面两个包先卸载,再重新装。原创 2024-04-17 13:47:37 · 429 阅读 · 0 评论 -
hive如何将列转成行
话不多说,直接上代码。select * from (select “20220415” as id ,“38292|38291” as proof_list) t1 lateral view explode(split(t1.proof_list, ‘\|’)) t2 as proof_id最后结果:原创 2022-04-15 15:22:47 · 1926 阅读 · 0 评论 -
本地数据如何上传至hive表(收藏)
如题。我指的本地,是指数据存放在windows系统的磁盘里,那如何把数据进行上传到hive表呢?为了后续的数据分析。1、数据文件上传linux服务器先找到一台能登录hive、hdfs的服务器终端,登录上去,切换成hdfs用户: su - hdfs2、上传文件至hdfs :rz 上传3、上传了之后查看下数据格式是否正确:我这里数据只有两个字段,以逗号为sep,以防索引保留下来,可以这样保留你的csv数据,data.to_csv(’./toufang20220414.csv’,index=None)原创 2022-04-15 14:56:31 · 3647 阅读 · 0 评论 -
python 连接postgresql TypeError:must be str,not int
本文主要介绍下python连接postgresql如何操作,以及往数据库表插数时,有些字段可能不是char或者text格式的而是int时,会报错TypeError:must be str,not int。要在python里抓成str才行。话不多说,直接看代码!#!/usr/bin/env python# -*- coding: utf-8 -*import psycopg2# 填写连接数据库的参数conn = psycopg2.connect(database="db", user="xiaosh原创 2020-05-21 16:29:01 · 746 阅读 · 0 评论 -
sql中关联条件注意事项
最近在系统里查询企业供应商接口的时候,本着程序员的强迫症要先检查下代码的准确性,发现接口返回的某企业的供应商比我自己线下查询的供应商少了一个企业。才发现接口逻辑有误。老规矩,直接上代码比较下:#company表主要字段是company_id,company_name,存储各个企业id和名称;#company_relations表主要字段是company_id,relationship,rel_company_id,存储企业之间的关系下面是系统里原来的接口:select t1.company_id,t原创 2020-05-25 17:40:11 · 975 阅读 · 0 评论 -
hive建表与mysql建表的区别
现在大数据时代我们一般企业里都会将数据存储在hadoop这样的分布式系统里,我们可以编写hive-sql对数据进行分析,但是一般的业务系统是基于mysql这样的关系型数据库来进行可视化的,所以将hive上的数据表调度到mysql容易踩坑的地方总结在这里,下面举个栗子来说明一下。一、hive建表程序:1、字符型跟mysql的字符型表示不一致,hive是string,mysql是varchar(n)2、浮点型字段跟mysql的浮点型表示不一致,hive是float,mysql是double3、mysql原创 2021-01-13 11:00:04 · 1540 阅读 · 0 评论