- 博客(2)
- 收藏
- 关注
RSS订阅原创 使用Docker快速搭建Hadoop，Spark测试环境
Docker 安装参考：http://www.runoob.com/docker/docker-tutorial.html 合适的hadoop，Spark镜像：git clone https://github.com/big-data-europe/docker-hadoop-spark-workbench.git 进入下载后的目录 docker-hadoop-spark-work...
2018-08-27 06:46:25
2494
原创 Linux 大文件文本处理
前言： 最近项目在做数据分析，需要接入大量的客户数据；理论上如果我直接访问对方数据库不会慢的，但是对方不允许我们直接访问，要他们推送给我们，一个mysql数据库做中转，这中间写入mysql，我从mysql 读取，速度慢太多了。因此考虑历史数据通过文件发送给我们。综合考虑采用方案为实时数据采用推送，历史数据采用文件一次性给我们。这就带来了一个问题，历史数据有100G。直接读取，内存受不了。按行读...
2018-05-06 21:15:41
2409
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人