![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
遇到的问题
文章平均质量分 72
CCESARE
专业水文创作者。 大数据开发hadoop/Hive/Hbase/Spark/Flink
展开
-
python按字节长度截取字符串(按bytes长度截取str)
需求: python将字符串按照字节数来截取,找了很多文章都是有关联但又不能完全解决此需求,自己总结一下。遇到的需求是:推送目标有字节数限制 最大4096字节,但我推送的是个字符串(包含中/英文、特殊符号),且想要尽可能多的将文本内容推送出去,所以按照字符串截取时 不想取太少,取太多又偶尔会超出限制。下面列出代码:str_txt = '测试文本ceshi'cut_bytes = str_txt.encode('utf-8')cut_tmp = cut_bytes[:900] #..原创 2021-11-02 17:38:17 · 8285 阅读 · 2 评论 -
记一次yum源报错解决:linux的yum命令报错Loaded plugins / Repository epel is listed more than once
执行yum install命令时报错 Loaded plugins: fastestmirror, langpacksRepository epel is listed more than once in the configuration执行yum list命令时报错Existing lock /var/run/yum.pid: another copy is running as pid 10841.报错出现的情况具体为:[root@xx_0_15_centos /]#...原创 2021-02-22 10:40:15 · 20607 阅读 · 1 评论 -
删除pandas中产生的Unnamed:xx列
python在使用 pd.read_csv(xxx, sep='\t' ) 读文件时,结果df中多出了一列Unnamed:38,本来38个字段又多了一个,变成39个字段。看起来就很烦。解决方案一:pd.read_csv(path, index_col=0)pd.to_csv(path, index=False)解决方案二:用pandas处理数据是,产生了 Unnamed:0 列,解决方案如下:df.loc[ : , ~df.columns.str.contains("..原创 2020-11-18 15:06:01 · 5956 阅读 · 1 评论 -
hive表查询时使用中文别名
当前需求场景: 每月要提供一份数据给客户,以excel表的形式,每次都要去Hive中取数据,但Hive表字段都为英文所以每次取了数据出来后还要手动处理修改成指定格式。手动操作较多较为麻烦。在hive查询时 使用英文别名是没有任何问题的,SELECT st.source_task_order A, st.creation_date B FROM tr_source_task st;但是有某些特殊需求,需要使用中文别名时解决方法:将中文别名用反单引号(tab键...原创 2020-08-05 19:49:14 · 4733 阅读 · 1 评论 -
Windows Terminal powershell 内置SSH使用、SSH指定端口链接远程服务器
首先吹一波Windows Terminal真滴好用,舒服简洁好看原创 2020-06-11 17:48:07 · 10150 阅读 · 0 评论 -
记一次通过跳板机链接远程数据库以及备份mysql和恢复
场景:本机通过一台ECS服务器,再去连远程服务器上的mysql数据库。有多种方式可操作:1. haproxy tcp代理 (https://www.cnblogs.com/qinshuipo/articles/10382079.html) (此方式可长久使用) 2. Linux版 Navicat for MySQL 3. mysql-client 通过mysql dump备库 (一次性)此次使用第3种方式一次性备库down到本地。先在跳板机(ECS)安装mysq...原创 2020-05-29 17:48:03 · 933 阅读 · 0 评论 -
hive on tez 执行任务报错
hive on tez,在执行任务的时候报错,这种情况原因是container资源被抢占或者是资源不足。而task最大的失败次数默认是4,am自己失败的最大重试次数默认是2次。分析:task_1442391298043_123239_1_01_000000,失败了4次,失败的原因是container被高优先级的任务抢占了。而task最大的失败次数默认是4。当集群上的任务比较多时,比较容易出现这个问题。解决方案:命令行修改默认值set tez.am.task.max.failed....原创 2020-05-19 11:32:25 · 4956 阅读 · 0 评论 -
hive的巧用:查询两个表中不一样的数据
一个有趣的SQL:select a.* FROM A a left outer join B b on a.qq = b.qqWHERE b.qq is null;恩,很好。WHERE b.qq is null;.........??这不是查空得吗,查空的是干毛用啊?这是查A有B没有的数据。什么意思呢?首先,我们先来看一下 left join 后是什么样的结果。画了一...原创 2020-03-11 20:55:15 · 6188 阅读 · 2 评论 -
Navicat 查看密码 破解保存的密码 + 密码解密
(baidu搜索的文章写的都不全,于是自己总结好写一个)如果想要破解一个已经连接好的数据库密码,可以参考这个方法。一、查看navicat保存的密码1. 进入注册表win + R 输入 regedit 回车2.找到 navicat 中存储的密码HKEY_CURRENT_USER Software PremiumSoft Navicat Servers 点击...原创 2020-03-09 10:10:31 · 19876 阅读 · 17 评论 -
hivesql常见的与不常见的日期格式转换 (持续更新)
12/31/2015 00:00:0012/31/2015 00:00:001/4/2016 00:00:001/4/2016 00:00:00故事起源于某日接手了 ↑ 这种日期格式的数据 mm/dd/yyyy HH:mm:ss ,需要将数据放进hive里,肯定得转成标准格式呀。baidu了很久没找到所需函数,只找到了类似的 :16/Mar/2017:12:25:01 +08...原创 2020-03-06 17:54:37 · 4096 阅读 · 3 评论 -
切换用户su hdfs出现This account is currently not available.
切换用户su hdfs进入不了出现This account is currently not available.用vi看看 hdfs的帐号信息# cat /etc/passwd|grep hdfshdfs:x:995:992:Hadoop HDFS:/var/lib/hadoop-hdfs:/sbin/nologin发现它的shell是“/sbin /nol...原创 2019-07-18 17:35:50 · 3501 阅读 · 0 评论