自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(2)
  • 资源 (8)
  • 收藏
  • 关注

原创 使用Python 递归合并不同目录下小文件

背景项目中, 由网络爬虫爬取的日志文件, 需要导入到 hive 数据仓库中, 但日志文件包含很多的小文件, 散落在许多子文件夹下.总所周知, 当 hive 的输入端如果由许多小文件组成的话, 每个小文件都会启动一个 map 任务, 如果文件多而小, 会造成 map 任务启动和初始化的时间远大于逻辑处理的时间, 造成数据处理时间大大增加, 甚至会造成 OOM的后果.鉴于此, 当我们执行一个hive任

2016-07-13 11:31:52 2261 1

转载 欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2016-07-13 10:50:18 230

Linux下pip程序安装脚本(亲测可用)

已实验环境: CentOS7 + python3

2021-11-24

azkaban-binary-2.5.0二进制安装包(含Web + executor + sql等全部模块)

Azkaban自己编译、打包的的二进制压缩包, 开箱即用, 自己亲测可用. 免去纷繁复杂的编译、打包、网络斗争操作. 软件列表: 1) azkaban-executor-server-2.5.0.tar.gz; 2) azkaban-sql-script-2.5.0.tar.gz; 3) azkaban-web-server-2.5.0.tar.gz

2020-11-20

logstash-6.3.2.zip

ELK技术栈之logstash-6.3.2.tar.gz,通过这一灵活且开源的收集、解析和扩充管道,轻松整合任何来源、任何格式的数据。由于官网下载特别慢,这里收藏一下。

2020-01-02

RedisWindowsAllinone.zip

Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构,如 字符串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(sorted sets) 与范围查询, bitmaps, hyperloglogs 和 地理空间(geospatial) 索引半径查询。 Redis 内置了 复制(replication),LUA脚本(Lua scripting), LRU驱动事件(LRU eviction),事务(transactions) 和不同级别的 磁盘持久化(persistence)。

2019-11-05

kafka-manager-1.3.3.23.zip

鉴于恶心的网络环境,编译kafka-manager-1.3.3.23.zip需要花费大量的时间、精力、和超强的忍耐心,去打通sbt打包编译网络环境,这个过程走过的同学都懂的!

2019-07-02

jdk-8u191-linux-x64.tar.zip

Linux下适用的jdk,版本为1.8,java开发、部署、测试、运维管理等必备软件。 具体子版本为:8u191-linux-x64.tar.gz

2019-05-15

pip安装脚本(支持python2、python3)

python的pip安装部署脚本,支持python2、python3。 下载完该文件后: ①、如果是python2环境,请使用python get-pip.py方式安装; ②、如果是python3环境,请使用python3 get-pip.py方式安装。

2019-02-13

shipyard 一键部署脚本

Docker UI可视化工具shipyard的一键部署化脚本,shipyard安装必备工具。 其提供了一个简洁明了的可视化管理界面, 让运维工作更加轻松快乐!

2018-11-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除