- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 导数据中的网络引起的异常
最近由hive想应用数据库mysql 和 hbas导数据的时候，莫名的出现很多连接异常或者中断的情况，初步怀疑是开启并发过多占满网络带宽导致 导入mysql数据库Lost connection to MySQL server at 'reading authorization packet', system error: 0 导入Hbase数据库时ssh连接中断 ja
2017-04-27 14:52:37
512
转载 利用Fiddler进行http抓包
转载自 作者：Findyou地址：http://www.cnblogs.com/findyou/p/3491014.html前言：做前端测试，基本要求会抓包，会分析请求数据包，查看接口是否调用正确，数据返回是否正确，问题产生是定位根本原因等。不管是之前做HTML5手机项目测试，还是现在的企邮app测试，经常需要抓包，做前端开发基本第一时间会想到Fiddler，的
2017-04-25 16:56:31
1552
原创 hbase常用shell命令
#范围扫描scan 'edw_applications:user_profile_customer', STARTROW=> '00502be7c4df-8509-d144-b2c8-03108f00', ENDROW=> '00502be7c4df-8509-d144-b2c8-03108f00'#值扫描scan 'edw_applications:user_profile_
2017-04-25 15:57:32
461
原创 hive上创建表视图
数据仓库中对有些表采用全量分区，每天一个历史镜像数据，有些数据应用系统正好使用该类型表，可以对外输出一个表视图使数据消费方不用关心是何种类型的表，在workflow中每天定时重建该视图，还可以屏蔽调度数据失败对外面的影响，即使失败数据消费方还能继续work，只是数据是前天生成的而不是最新的数据drop view if exists edw.test_tablename_view;crea
2017-04-25 14:50:25
1892
原创 HDFS上磁盘数据清理
HDFS数据清理一些办法：datanode数据做reblance 清理临时目录、日志目录文件 全量分区表历史分区清理 使用lzo，orc格式进行数据压缩 清理或者归档历史冷数据 增加datanode横向扩容附上自动清理目录下过期的文件#!/bin/bashsource ~/.bash_profile# 将待检测的目录(可以为多个)加载至数组中yarn_log_di...
2017-04-14 08:31:02
5299
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人