- 博客(5)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 kafka-spark-hive
1、场景介绍：数据发往kafka（500亿条每天），用spark读取kafka的数据，写入到hive表里面（ORC压缩算法，一个分区字段）2、hive的介绍：hive表是分区表分区的字段是一个，想要使用动态分区，hive的压缩算法是ORC FILE 使用spark的组件spark streaming 可以流式的读取kafka的数据，并且直接写入到HDFS上。首先说一...
2019-08-30 15:56:48
656
原创 npm cnpm
一、nrm命令查看：nrm ls切换：nrm use cnpm切换到cnpmnpm config set registry http://registry.npm.taobao.org/切换回来npmnpm config set registry https://registry.npmjs.org/二、vue-devtools安装网址：https://www...
2019-08-15 16:04:23
122
原创 Vue-element-admin的使用，初级摸索使用中，npm\node\vue
一、预备知识npm：node.js的包管理工具，用于同一管理我们前端项目中需要用到的包、插件、工具、命令等，便于开发和维护 node.js: ES6：Javascript的新版本，ECMAScript6的简称。利用ES6我们可以简化我们的JS代码，同时利用其提供的强大功能来快速实现JS逻辑 vue.js:是一套构建用户界面的渐进式框架，学习网站：https://www.runoob.co...
2019-08-15 11:28:53
1539
原创 Permission denied: user=*****, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
一、问题描述在执行flink on yarn 时出现的问题，其实在出现问题之前，程序已经在测试环境运行了一个月没有问题，环境变了，又重新部署启动之后就出现了问题。启动命令如下：flink run -m yarn-cluster \-p 4 -yjm 1024m -ytm 4096m \-ynm demo -c com.sink.flink.Demo \${libs_abs_path...
2019-08-15 10:30:56
1995
2
原创 url 汇集（各类好文章）
http://cwiki.apachecn.org/pages/viewpage.action?pageId=4260364 ES的中文使用说明https://www.oschina.net/project 开源中国网站社区https://flink.apach...
2019-08-07 09:54:33
140
centos8\离线安装的rpm包，包含gcc、make、redis
2023-02-06
数据结构课件与计算机网络课件（大学）
2018-07-04
sqoop安装详解以及sqoop介绍
2018-07-04
从MySQL数据库拿数据做实时报表？
2020-02-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人