- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 【linux命令学习】— nc 命令学习
文章目录一、命令介绍1. 临时监听 tcp 端口2. 永久监听 tcp 端口3. 监听 udp 端口4. 连接某个端口二、nc 实用小技巧1. 使用 nc 扫描端口2. 使用 nc 传输文件或者目录nc 全称netcat，使用nc可以直接监听某个端口，也可以往其他服务器的端口发送数据。Centos 上没有nc命令可以通过yum install -y nc来安装。其他发行版请读者自己百度如何安装...
2019-01-30 20:54:37
422
原创 hive 替换第三方jar包不生效 问题排查
文章目录一、问题描述二、排查过程1. 梳理hive程序的执行流程2. 推测问题产生的原因3. 通过arthas找出罪魁祸首4. 问题总结和解决办法三、个人反思和一些总结想直接看结论和解决方案的同学可以直接跳到2.4章节。一、问题描述前几天有用户反馈将hive查询结果以orc导入到hdfs目录时出现异常，sql大概如下:insert overwrite directory '/tmp/' s...
2019-01-22 22:18:33
27972
原创 hive insert overwrite directory 问题排查
文章目录一、问题描述二、问题定位三、问题总结四、解决方案五、一些题外话一、问题描述线上某条hive语句出现错误,hive语句如下insert overwrite directory '/tmp/data_works_server/41109/904723/1547802020/' STORED AS ORC select 20190117, device_model, meios_vers...
2019-01-22 22:16:26
34009
2
原创 大数据常用文件格式介绍
文章目录一、SequenceFile二、Avro三、parquet四、Orc五、同为列式存储, orc和parquet的区别列式存储的优化点orc和parquet的一些区别和对比六、一些总结查询资料附录最近在做hdfs小文件合并的项目，涉及了一些文件格式的读写，比如avro、orc、parquet等。期间阅读了一些资料，因此打算写篇文章做个记录。这篇文章不会介绍如何对这些格式的文件进行读写，只...
2019-01-13 16:36:24
7682
原创 大数据安全管理框架 Ranger 原理介绍
文章目录一、Ranger是什么二、Ranger的权限模型三、Ranger架构Ranger-adminPluginHive Plugin 授权流程四、一些思考1. 关于组件策略的缓存2. 插件类加载器的实现Java中的类加载器双亲委派类加载机制：五、总结一、Ranger是什么ranger大数据领域的一个集中式安全管理框架，它可以对诸如hdfs、hive、kafka、storm等组件进行细粒度的权...
2019-01-12 14:52:15
11370
25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人