- 博客(18)
- 收藏
- 关注
RSS订阅原创 sqoop抽取mysql的mediumtext字段类型，被转成ASCII
在使用sqoop抽取mysql中到hive时，其中两个字段数据发生了如下变化:明显该字段被转成了ascii类型，查看Mysql中数据库表字段是mediumtext类型。估计是不识别这种类型，找了一下资料，发现可以对字段进行转义：--map-column-java xxx=String如果是有多个字段需要转义的话，如下所示：--map-column-java 字段1=String,字段2=String,字段3=String,字段4=String其中有两个小细节，字段名必须.
2022-01-20 10:38:35
1804
原创 TDH终止Yarn任务
1、找到对应的application id进入yarn source页面，找到正在执行中的任务2、登录容器进入yarn-resourcemanager 节点# 查看yarn相关的容器信息kubectl get pods -o wide|grep yarn# 进入resourcemanager容器kubectl exec -it hadoop-yarn-resourcemanager-yarn1-5dbd4f764d-gdjxp bash3、杀死进程查..
2022-01-19 16:29:04
2653
原创 Linux修改用户ID
今日准备搭建一套GP数据库，创建用户后，发现之前创建的gpadmin用户，该用户下居然运行着TDH的很多服务；经检查发现时TDH服务采用镜像方式启动，其中服务上的用户ID和镜像中的用户ID冲突了，导致显示有误；故决定将gpadmin的用户ID修改一下。1、查看gpadmin的用户Id2、修改gpadmin的用户Id2.1 修改过程中发现该用户被其他进程占用查看进程发现进程不过是普通连接，直接kill -9杀掉2.2 重新修改用户ID3、修改gpadmin的用户组I
2021-06-21 16:16:12
7622
原创 oracle新建schema/用户
--1、创建用户create user username identified by password;-- username表示用户，password表示密码--2、创建表空间create tablespace tableSpaceName datafile '/oradata/dataspace/tableSpaceName.dbf' size 2048M autoextend on next 100M maxsize 2048M;--其中maxsize不能低于size,否则会报错（ORA-
2021-05-26 10:01:09
1813
原创 AVUE 获取显隐列字段
近期在需要做一个导出功能，业务人员希望，导出的字段和前台显示的结果一致，故而需要获取显隐列的字段信息；很遗憾在avue的官方文档中并没有直接找到对应的信息；<avue-crud ref="crud" :data="dataList" :option="option" :summary-method="getSummaries" :show-column.sync="showColumn" :table-loading="loading" :page.sync="page
2021-05-25 10:57:45
2922
原创 oracle 两个负号
近期在项目中，发现一个数据错的有点离谱，检查半天才发现手贱，多写了一个减号；诧异于sql居然没报错，验证一下发现，才发现在oracle中负负得正了
2021-03-05 18:18:15
293
原创 hive行转列
with test1 as(select '1' id,'aaa' key,'123' value FROM system.dualunion allselect '1' id,'bbb' key,'124' value FROM system.dualunion allselect '2' id,'bbb' key,'125' value FROM system.dualunion allselect '2' id,'aaa' key,'234' value FROM syst...
2021-03-04 17:20:46
245
1
原创 TDH环境hive执行sql，报错OutOfMemory
近日，在项目中有一段sql执行总是报OutOfMemory原因是sql中含有大表的group by操作，这导致了数据在map端进行了聚合，超过hash map的大小；可通过以下参数，关闭map端的聚合，即可正常运行sqlset hive.map.aggr=false;也可参考下面的文章，通过设置hive.map.aggr.hash.percentmemory的大小来达到这一目的http://dev.bizo.com/2013/02/map-side-aggregations-in-.
2021-01-20 16:40:31
421
原创 oracle权限相关
--DBA用户，查看表权限（grantee就是被赋权者）select * from dba_tab_privs where table_name in ('OC_AREA_MARKET_KPI_DAY','REF_WORKDAY_INFO','CRM_QSZB_HOLD_CUST');--当前用户，查看表权限select * from user_tab_privs where table_name in ('OC_AREA_MARKET_KPI_DAY','REF_WORKDAY_INFO','
2021-01-14 16:41:11
93
原创 sqoop相关问题记录
1、sqoop 默认开启4个split，如不指定map=1；可能会导致数据重复；2、sqoop import 开启并发，需指定并发字段，避免数据重复；
2021-01-11 19:04:56
129
原创 TDH集群数据拷贝及元数据迁移
近期项目中，领导要求定时将数据导入到测试环境中，以便于数据开发人员进行开发，其次也能起到一个备份的作用；因而准备用distcp 命令来进行集群间的文件拷贝，但文件导过去后，因为都是orc表，虽然文件导过去了，但是数据依然不可使用；所以决定一不做二不休，直接将元数据也一把干过去；所以只要做到三步即可：1、全量同步 集群文件 和 元数据2、定时同步集群文件3、定时同步元数据首先第一步，挑一个黄道吉日，将集群文件按库逐步全量同步到测试环境；hadoop distcp -pb hdfs:
2020-12-01 11:20:34
778
1
原创 Vue 时间
最近一个月：const start = new Date()start.setTime(start.getTime() - 3600 * 1000 * 24 * 30)今年第一天：const start = new Date()start.setMonth(0)start.setDate(1)start.setTime(start)去年第一天：const start = new Date(new Date().getFullYear()-1,0,1);start.setT
2020-10-15 11:03:15
183
原创 帆软报表报错：打开的文件过多
1、首先查看下linux系统配置打开的最大文件数是多少；ulimit -n 即可查看，初始值一般是10242、lsof -p 进程 >> open_file.txt ，cat open_file.txt | wc -l3、一般情况下，这个报错是查询流程导致的，可以适当增加这个最大打开文件数；修改 /etc/profile 文件，在文件最后加一行ulimit -n 65536然后source使之生效 source /etc/profile。此时再执行ulimit -n，最大打
2020-09-30 14:35:57
564
原创 Cannot read property ‘key‘ of undefined“
报这个错的原因有很多，这里记录下我近日发生这个报错的原因；我的是由于后台返回给我字段中含有Id字段，且该字段并非主键，含有大量的重复值，这个和VUE唯一标识ID 冲突了，所以导致我前台一搜索整个页面就卡死了，目前我采取的解决方式是，让后台返回字段时转一下，改成S_ID即可了。...
2020-09-30 14:27:01
3739
1
原创 mysql数据库备份
项目中，需要将mysql中的数据库备份一份给其他系统使用；登录到服务器上后，直接执行命令这是由于系统默认会查找/usr/bin下的命令，如果这个命令不在这个目录下，当然会找不到命令；首先得知道mysqldump命令的完整路径，可以通过find命令来找出mysqldump命令的安装：find / -name mysqldump -print也可以通过命令 ps -ef |...
2020-01-06 17:29:13
361
原创 如何将Cognos报表中所使用的的参数显示在报表中
拖动一个‘’文本项目‘’到报表的空白界面处，在属性处，将文本项目的源类型改为报表表达式，此时你拖入的文本项目会变成，双击一下，添加表达式定义：ParamDisplayValue（‘你的参数名称’）；或者你直接将参数的可用组件拖入表达式定义中也可以。
2017-05-09 09:53:07
1657
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人