大数据踩坑指北
老板手中堪称软件中的烂尾楼的大数据医疗项目,由于近期需要交接,临时把我推到前台。由于项目从一开始就遍地是坑,偏偏我还没得选择,只能一步步踩着走。记录下其中的各种坑,避免广大家被坑在起跑线上。(不敢称老鸟,如果内容有错误,请见谅。不过可以保证,以下内容亲测。)
qq_35158533
这个作者很懒,什么都没留下…
展开
-
Kettle Carte集群关闭问题
Kettle Carte命令行是没有关闭的服务的命令的。一般,情况下,直接kill掉pid就是了。但是kettle开启的进程好多个,如果一个个kill,一方面比较麻烦,另外可能kill掉一个pid之后,一看,又自动开启了。命令行关闭Carte命令行下,是可以通过以下命令直接kill掉所有kettle的进程的 ps -aux | grep kettle | awk '{print$2}'| xargs kill -9通过web UI关闭CarteCarte是可以通过Web UI关闭的。直接在浏览器原创 2020-10-20 21:18:10 · 810 阅读 · 0 评论 -
CDH集群搭建前将/var单独分区
目录概述/var单独分区/fstab文件内容详解概述1.CDH集群中,/var目录是需要存储数据非常多的一个目录。因此,用一个硬盘单独挂载。一方面,提供目前阶段足够使用的空间。另一方面,如果一块硬盘不够使用的时候,可以考虑多块硬盘同时挂载。2.mysql的data目录需要放置在/var目录下面3.hdfs和yarn目录下的内容,根据使用情况考虑是否放置在/var下面。暂时先不放置,但后面一旦空间不足,直接将目录下文件移动(带权限拷贝 )过去,然后建立软链接,将其指向硬盘分区。华为云:华为云买的硬原创 2020-10-06 02:30:53 · 515 阅读 · 1 评论 -
CDH集群配置过程中若干个坑加配置教程
目录前言测试环境服务器硬件功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入前言部署场景属于实验室测试场景,并非是实际生产场景,项目本身也属于科研项目而非企业项目。项目是一个关于医疗大数据的项目,核心目标是为了应对海量增长医疗数据原创 2020-09-30 04:32:11 · 2677 阅读 · 1 评论