- 博客(11)
- 收藏
- 关注
RSS订阅原创 DOCKER 报错no space left on devic ，对virtualBox虚拟机centos7扩容方法
在使用docker过程中报错 报错ERROR: write /var/lib/docker/tmp/GetImageBlob923430253: no space left on device ，Linux原因是虚拟机分配的空间较少而且docker默认就安装在 /var/lib/docker/这个路径下使用 df -h 查看磁盘空间查看后 果然磁盘空间不足解决方案一 对磁盘进行扩容在扩容之前 看到有些人说 需要先删除快照我这边使用的是 virtualBox 的虚拟机首先点击 管理
2020-06-04 21:32:36
2086
3
原创 SQL优化：使用distribute by 防止数据倾斜
distribute by ：用来控制map输出结果的分发，即map端如何拆分数据给reduce端。 会根据distribute by 后边定义的列，根据reduce的个数进行数据分发，默认是采用hash算法。当 distribute by 后边跟的列是：rand()时，即保证每个分区的数据量基本一致...
2020-02-11 22:11:47
18978
1
原创 使用python ftplib 递归删除FTP文件夹内的所有内容
FTPlibThis module defines the class FTP and a few related items. The FTP class implements the client side of the FTP protocol. You can use this to write Python programs that perform a variety of auto...
2020-01-17 11:38:32
2769
原创 HDFS上传缓慢： INFO hdfs.DataStreamer: Slow ReadProcessor read fields for block
问题描述在往HDFS 上导数据时遇到的问题，文件大概有100G左右，总个数有100个近两天往HDFS上传文件时发现，hdfs报这个告警后，上传就变的特别慢。但是可以正常上传，上传上去的文件大小无异常，只是传输很慢报错内容删除了敏感信息19/12/10 11:27:31 INFO hdfs.DataStreamer: Slow ReadProcessor read fields for bl...
2019-12-10 12:36:19
5281
原创 HIVE实际开发问题:select * 和 select count（*） 条数不一样
前置目前是做一个大数据平台迁移的项目，传输完数据后，在部署生产环境之前需要对功能模块进行测试，测试时对hive每张表都造了一条数据问题情况检查到某张表的时候sql语句：select * from table;结果显示是这样的：select count(*) from table;当我count（*）时候 结果显示是这样的明明表里面有数据，但是count 的结果是0解决...
2019-12-04 10:38:37
4232
原创 HIVE自定义UDF时5.1.5-jhyde报红
问题：在自定义UDF时IDEorg\pentaho\pentaho-aggdesigner-algorithm\5.1.5-jhyde报红原因：引用jar包找不到解决方法：下载jar，上传到maven本地库路径org/pentaho/pentaho-aggdesigner-algorithm/5.1.5-jhyde下https://public.nexus.pentaho.org/#bro...
2019-07-17 15:11:46
1407
1
转载 Hive中not in函数的坑点
Hive中的not in函数有一个隐藏的陷阱，当not in() 中的数值包含NULL，匹不上的数据会返回NULL而不是True。所以当在where中使用not in子查询进行筛选，一定要记得去除NULL值。样例代码：--not in的原始结果select num,num not in (null,'2'), num not in (null,'2') and true from(sel...
2019-07-16 23:13:45
1524
原创 怎么把家里的电脑变成服务器，随时随地进行连接——内网映射
内网穿透方法1、 购买花生棒，向日葵等等第三方做内网穿透的产品。优势是简单，易上手，只需要安装软件购买产品就可以达到效果了。2、 第二种是如果家里有公网ip，可以通过ddns 动态绑定 ip地址，设置路由器的端口映射和绑定，就能从外网访问到家里的主机了，前提要检查开启的端口是否在防火墙的开启端口列表中（百度一大堆这种教程，电脑直接连接网线，不通过路由器的话，连端口映射都不用做）3、 通过fr...
2019-07-04 17:18:18
6298
原创 Scala中的 Nothing，Null，None，Nil 的区别
Null 和 nullNull is a typefinal trait Null extends AnyRefnull is a valuethe only one instance of NullNull是所有AnyRef的子类，在scala的类型系统中，AnyRef是Any的子类，同时Any子类的还有AnyVal。对应java值类型的所有类型都是AnyVal的子类。所以Null...
2019-06-28 11:45:42
1658
原创 HBase 用Rest API的方式进行操作示例
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-06-25 10:43:40
758
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人