前方的路在刚开始

CDH出现了这个问题，hdfs报错因为我之前重新安装了zookeeper，导致zookeeper中的namenode信息丢失。然后之前的name node 挂了，看角色日志是这个问题。

你手动改了zoo.cfg目录是不会生效的，因为是cdh在管控，所以只能通过cdh修改。

报错登录节点后。

cd /sbinifupeth0你自己的网卡网卡在这里看。

名称【你harbor中建立的项目仓库名，当然，你也可以自己写一个名字，他不会使用此名称去连接harbor，仅仅是作为cube-studio中的仓库名称】在command中执行，docker中的命令，点击旁边的保存，将右边导航栏，拉在最上面，点击run。，从仓库到版本都要写上，我之前就在这里踩了坑,不写版本默认，拉取latest版本】我的镜像是提前已经全部构建好了，所有的配置，是独立进行配置的，所以不用写其他。"describe": "启动命令",在导航栏目录上选择，训练-》仓库，点击右边的+号，新增。...

用第一篇搭建后要注意，第二篇中用的是80，你要全部写端口。这个教你配置，login登录。上面教你按harbor。

平常写dockerFile，让我很头疼，很麻烦，有些docker不支持的，然后还要写shell脚本，让docker去执行，而且有些命令，权限还不支持，所以配置很麻烦。而我的大环境又是不会经常改变的，不用经常加外部文件之类的。所以在容器内直接操作好，打包成镜像可以免去繁琐的，脚本。但是如果，你需要经常加file文件，还是从dockerFile入手比较好。我的文件都是通过hdfs从外部读取。......

local就是用本地spark执行，除了测试以外基本不会用，而且如果使用yarn模式或者其他模式，在代码中使用了local，还会导致spark-submit提交时，spark不知道以yarn模式运行还是以local模式执行，导致报错。spark-submit yarn提交任务，他会去读取HADOOP_HOME目录下yarn-site.xml以及其他配置，然后，通过driver去连接配置所对应的工作节点（集群上的节点），然后执行任务，将日志同步给本节点。yarn模式 cdh的模式 ，也是国内最多的模式。..

首先准备1个jar然后保证他丢到服务器，能用spark-submit /跑。首先你得有oozie和hue，安装好了，才行。

spark使用hive中有比较多的坑，尤其是版本问题引起的jar包冲突，比较好的方式是使用与CDH匹配的hive和hadoop版本，这样可以减少很多的jar冲突问题，但是在IDEA调试过程中还是难免会碰到jar包冲突问题。...

先用cdh安装yarn的mapredce的jar,然后在看看是不是时间问题，原因是0.5秒同步一次心跳，我其中一台节点，是在其他地方，所以网速不好。

将某个用户，添加到，hdfs超级管理员组中。更新权限到hdfs文件系统。

真没法，解决，spark，服务要怎么开启，怎么连接，连哪个库，什么版本，官方都没有资料的。再重启这个服务nohup java -jar xxx.jar &最好还是用presto。spark就好好的完成自己的计算。ps -ef|grep metabase 查一下。重新添加发现错误变了，说明jar包添加成功。官方说，缺少依赖的话，要加到他的依赖中。然后放到plugins下面重启，服务。这是我的plugins插件目录。直接kill -9 这个服务。...

hive中的表字段不能为中文，如果为中文，presto会连接超时，但是hive本身以及hue或者spark都不会有影响。只有presto会连接超时英文开始正题:搭建什么的很简单。就是上面那个玩意，把我整傻了。因为他的报错原因就1个，超时。根本搜不到解决方案。谁能想到超时和中文字段有关？：）...

经过官网回复，这是老版本遗留的一个日志问题，这个只是表面情况，并不影响你任何服务。出现这种错误，但是我可以通过presto-cli访问它。

尤其是这2个，要删除，否则会导致你设置的log4j.proerpties失效。1.直接在代码里设置日志级别，包含直接类中添加，和使用继承类（不推荐）spark默认会答应info，信息，他内置有log4j。3.添加log4j.prperties。创建一个这样的文件，名称也要一样。2.修改他的全局配置（不推荐）故，我们有3种方式解决。...

尤其是针对架构人员，需要什么程序，先把demo拿来，而demo之前的环境依赖是非常耗时的一件事情，写代码很简单，无非就是创造，而搭建他的环境，以及demo之间的兼容和报错问题，经常让人头疼不已。今后，我要写各种demo到博客上。发这博客就是发个誓。...

我刚开始以为是，workflow问题，然后单独运行workflow成功，结果显而易见是schedule的问题，那就1个调度器，不涉及业务，会出现的问题的情况非常少。，因为hue默认写的会被中文化字符。博主给的函数，不要直接复制，他的是中文字符，原来的函数是抄一个，参考文章博主的，发现会导致这个问题，于是修改就可以了。参考文章博主他给的函数慎用,不要复制，要自己写。修改了下函数，可以用了，几个注意点。补充一下，大家写的时候一定要注意，我不用函数，测试20220730。2.参数后面的函数有问题。...

我感觉很狗屁，于是我加大oozie的资源为2G，然后把yarn容器资源调成2.5G(在oozie和yarn的配置中）网上说是正常的，在hue中是看不到原因。需要获取他的外部地址，去oozie页面看。这是一个日志，相当于没有日志，只要是出错了，都会导致这种情况。这里我们修改oozie的默认值，将原来的2G改成了500MB。原因是，oozie启动资源默认，需要2GB。1.修改yarn资源调度的内存。2.修改oozie的默认值。跳转进hadoop，看日志。成功，没有报那个错误了。......

修改内容根据DB_HOST关键字查找脚本内容，将信息修改为数据库实际ip信息。

springBOOT定义全局异常，通过throw的方式

存储格式区别非常大，默认是textFile，这种格式，如果你存储的数据格式是其他，然后你生成代码的时候写成了,create table as (select * from xxxx)。则会导致，你查询的表和你创建的表，数据量不一样大。原因是因为，比如，你查询表的格式是kudu，而你默认创建的是textFile格式，那kudu中数据的空格，会作为分隔符，导致你创建的表，不仅数据不准确，而且行数也不一样。...

大家用Yum下载东西的时候，想必都是阿里、豆瓣、清华源等吧，这些国内的开源镜像库确实很给力，但是，阿里虽好，可不要贪杯啊。那么，为什么这样说，你看。国内镜像【好处】就是快，美中不足的是，没有原生镜像源收录的多。如何恢复原生？1.进入yum源配置目录cd /etc/yum.repos.d/2.CentOS-Base.repo是yum源默认读取的内容这里面的url被我以前设置成了aliyun的，而我准备了一份备份CentOS-Base.repo.bak（这个就是默认的）3

将日志打印到控制台。场景2：将日志打印到日志文件中

半年来的，内存优化总结。

分页功能实现，startRow与Limit，可完成分页。Hbase默认scan是进行排序的。如果想取前1w行，则指定startRow,并且limit 10001。可以作为第一页。取末尾最后一个row，作为下一个的startRow。可实现分页。hbase shell：由于【rowStart和endRow】的获取速度和你get一样快，固常用于【Hbase迁移】，和更新。用于记录迁移的位置和【断点续传】。javaApi:pom、和基本配置连接我就不给了，我的另一篇博文有 。传送门

解决方式传统的application的maven项目，引用外部包时不能使用maven模式打jar包。采用下面模式

IDEA将依赖打入jar

输入jps居然没有，Hmaster于是 去他说的那个目录看了一下，发现只有HregionServer。并且里面对应的是pid（12019）这充分说明，这个Pid文件是用于记录你启动的项目的，并且是自动生成的。而hbase的关闭脚本，是按照顺序进行读取关闭，但是hbase的master在启动的时候就没有启动。所以没有生成pid，他关闭的时候自然也找不到这个文件。问题：查看日志，为什么没有启动的原因。...

docker log 容器ID容器id怎么看呢，docker ps

解决方式，使用xpath解析后的element对象，打印一下（结果是源码的形态）。不要以页面为准，而要以源码为准（右键查看源代码）排错方式:打印element代码 string = etree.tostring(table, encoding='utf-8').decode('utf-8') print(string)1.图中tr是在tbody里面，但是代码获取不到，显示没有这个节点2.但是在源码上却是叫table..

这么简单个东西，网上翻了许多，内容质量都偏低，于是自己也遇到了这个问题，就写篇博客发一下。问题:我要用使用回调函数，传递当前的结果，交给下一个parse进行爬取和解析在你要回调函数的后面加一个参数 meta={"字典key",你要传递的值}在回调后的函数中的，采用 response.meta["字典key"] 获取，你的值...

解决方案将红色部分改成绿色部分，去掉/原因:因为通过xpath第一次解析出来的结果是一个elements(他自带的类型)第二次解析的时候还是使用的是"/" ，那就是错误的，因为它的意思代表的是根目录解析（只对第一次转成html有效果）xpath的elements对象进行解析时，不用加 / 解析，直接解析就行...

解决方案table_body = html.xpath('/html/body/table[2]/tbody/tr//td')先获取总的，然后先取含td外表的数据 keys=r.xpath('text()') 在取含标签的数据 vs=list(r.xpath('a/text()'))具体案例:需求：提取td中的所有内容，但是用text()方法提取不到a标签中的内容。 def parse2(...

原因是因为他不支持 对象作为消息进行发送。但是他支持string,byte,序列化，数字类型。所以将对象转换为byte数组，在转换为对象解析即可附上相关转换代码。转换类的名字我叫做DataProcessUtils/*** 将对象转换为byte类型,用于 activeMq的消息传入，activeMQ不支持对象传输 ** */public static byte[] toByteArray(Object obj) { byte[] bytes = null; Byt

1.首先在resource下创建lib目录，并且将本地jar(languag-praser-xxx)包放入其中。2.打开Pom.xml,在pom文件中【dependencys下】加入本地jar包的依赖这里只用修改【systemPath】${pom.basedir}后的内容，改为jar包全路径【取src到结尾的路径】 <dependency> <groupId>ljqc</groupId> &.

1.点击代码行左边的地方打断点断点的作用就是：当你采用debug排查代码出错的时候，能直接从这个地方开始。2.点击右上角的虫子开始以debug模式运行debug模式运行和普通运行一样，都是在跑程序，区别就在于debug是一句一句跑的，跑的时候，你点击了下一步，他才会执行下一句代码。并且他每执行一句，会给你返回一个结果。3.控制debug运行的，最主要的3个按钮第一个向下的箭头，代表执行此文件的下一行代码，如果你的这个代码调用了【其他文件】的代码，或者【此文件】的方法函数，他.

我的步骤:1.读取csv创建节点A2.与Neo4j库中的节点B 做关系映射3.读取新csv增加节点A4.与库中的节点B做关系映射问题，是否会导致 原来的节点A中的数据与节点B的数据在进行一次关联，造成关联重复。测试后，确实会导致重复关联。解决方案:...

问题:neo4j只能识别csv,而csv又是以"号作为字段的分割问题，那么"数据","数据A" 就会造成引号的问题。修改分隔符不为【,号】 从数据库导出数据时，以txt文档进行导出。并且自定义分隔符。之后将其改为csv格式。测试:改为;后，能够导入成功测试2:在文件中加入"字符，看看会不会报错。导入测试成功！测试3:那么转义字符会变成什么样子呢，测试出错了修改后\" 在他前面也加了一个\"即可经过【无数轮】测试后，结...

我搜了半小时，全是Mongdb导出方案，却没有一个解决这个错误的方法，有篇博客提到了原因。mongdb版本不兼容，但是没有解决方案。我们国家那么多优秀的人才，肯定有人遇到了问题，为什么没有人去写一篇博客呢?难道你们都喜欢用国外最大的stackOverflow吗?可能是吧，这些人都不喜欢整中文。逼迫我学外语，哎于是我去了stackOverflow花了【10秒钟】解决了在百度解决不了的问题。后面加个这个就好最后希望大家多写博客，多造福中国人民，谢谢！--forceTableSca.