起早贪黑写bug

在执行hive sql的过程中发现报错如下Ended Job = job_1617789732059_139915 with errorsError during job, obtaining debugging information...Examining task ID: task_1617789732059_139915_m_000000 (and more) from job job_1617789732059_139915Task with the most failures(4):

前言：新接受了一个项目，项目是已经在运行的，我需要给需求方提供数据，很多问题都不清楚而且好多东西都没权限就很尴尬，在用sqoop 抽数到oracle 的时候遇到了问题集群信息：CDH-5.14.2sqoop版本：Sqoop 1.4.6-cdh5.14.2Oracle版本：oracle 11g根据对方提供的 IP 我先ping了一下，结果发现不通的因为 sqoop是要提交到yarn 上面去的，只要yarn的nodemanage节点通就可以（据大佬说的）所以把所有nodemanage的IP列出来给他们

这个报错网上有很多解决方案好久没写东西了，就简单的记录一下吧，希望能帮你 （前面一大段为废话，赶时间的老铁可以跳过）这两天在新电脑上装hadoop嘛，由于好久没搞了忘记了结果把Hadoop文件上传到了root 用户下的home/hadoop里，格式化没有成功嘛，后来发现错了就连同Hadoop 文件一起删掉了，唉事实证明还是太年轻，忘了隐藏文件这一茬了，后来打算登录重新传到普通用户目录时，普通用户登录不了，但是root 用户可以网上借鉴了一下各位前辈的经验，说是隐藏文件的问题就新建了 Hadoop

记录一下最近用kettle 8.3 导入CSV格式的数据到mysql数据库中所遇到的问题，以及解决的思路，希望对遇到同样问题的老铁有所帮助。先说明一点数据在excel中是可查看的没有乱码也没有任何问题1.文件之前的分割符为 $ 入下图2.我用UE 做了分隔符替换为 ，1.新建转换过程CSV文件输入中的修改...

事先声明，以下内容仅供参考，有不足之处请大佬们轻喷中台这个词最近很火，各种中台层出不穷。我自己是从事大数据方面的工作，找资料查了一下数据中台和数据仓库，大数据平台有什么异同。希望一下内容能帮助小伙伴们能更好的理解数据中台这个概念1.先来说下数据中台的概念：数据中台是一套可持续“让企业的数据用起来”的机制，是一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套持续不断把数据变成资产并服务于业务的机制这两个图有助于大家理解数据中台的概念2.再顺便说一

打算把写好的SQL脚本上传到linux，然后用shell脚本去调用，结果写了脚本之后发现 总是报错 -bash: ./create.sh: /bin/bash^M: bad interpreter: No such file or directory经过一番查找后终于找到了一篇博客并试了一下他的方法，是因为shell脚本是在windos 编写的脚本格式是 dos 这个可以 通过 vi 进入脚本 在命令模式下查看 :set ff因为我这个修改过来了所以fileformat=unix修改时还是在命令模

今天安装hive的时执行初始化命令 schematool -dbType mysql -initSchema失败。报错如下原因找不到hive库。找了很久才发现是配置文件的问题红框中所示为连接信息，我指定了为hive 但是没有创建，修改配置文件为即可初始化成功好，初始化成功啦，希望可以帮到小伙伴吧，记得修改配置文件这种事要细心细心再细心...