![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
BUG
我要用代码向我喜欢的女孩表白
已经换工作了,现在在某家安全公司打工。
又换工作了,现在在某金融公司打工
马上失业了,还要还房贷,要饿死了,大家可以私聊联系我,进行投喂,谢谢
展开
-
Unable to start failover controller. Parent znode does not exist.Run with -formatZK flag to initial
CDH出现了这个问题,hdfs报错因为我之前重新安装了zookeeper,导致zookeeper中的namenode信息丢失。然后之前的name node 挂了,看角色日志是这个问题。原创 2024-06-12 10:27:23 · 125 阅读 · 0 评论 -
cdh中的zookeeper怎么配置zoo.cfg
你手动改了zoo.cfg目录是不会生效的,因为是cdh在管控,所以只能通过cdh修改。原创 2024-06-12 09:11:02 · 391 阅读 · 0 评论 -
hdfs权限设置不足chmod: changing permissions of ‘/tmp‘: Permission denied. user=hive is not the owner of in
报错登录节点后。原创 2022-08-23 13:27:30 · 1582 阅读 · 0 评论 -
停电后,服务器ip失效
cd /sbinifupeth0你自己的网卡网卡在这里看。原创 2022-08-21 14:24:13 · 281 阅读 · 1 评论 -
cube-studio配置镜像仓库并执行jar
名称【你harbor中建立的项目仓库名,当然,你也可以自己写一个名字,他不会使用此名称去连接harbor,仅仅是作为cube-studio中的仓库名称】在command中执行,docker中的命令,点击旁边的保存,将右边导航栏,拉在最上面,点击run。,从仓库到版本都要写上,我之前就在这里踩了坑,不写版本默认,拉取latest版本】我的镜像是提前已经全部构建好了,所有的配置,是独立进行配置的,所以不用写其他。"describe": "启动命令",在导航栏目录上选择,训练-》仓库,点击右边的+号,新增。...原创 2022-08-10 13:57:18 · 884 阅读 · 2 评论 -
harbor配置远程仓库
用第一篇搭建后要注意,第二篇中用的是80,你要全部写端口。这个教你配置,login登录。上面教你按harbor。原创 2022-08-09 19:29:08 · 1236 阅读 · 0 评论 -
docker将容器打包成新镜像
平常写dockerFile,让我很头疼,很麻烦,有些docker不支持的,然后还要写shell脚本,让docker去执行,而且有些命令,权限还不支持,所以配置很麻烦。而我的大环境又是不会经常改变的,不用经常加外部文件之类的。所以在容器内直接操作好,打包成镜像可以免去繁琐的,脚本。但是如果,你需要经常加file文件,还是从dockerFile入手比较好。我的文件都是通过hdfs从外部读取。......原创 2022-08-09 11:26:28 · 3353 阅读 · 1 评论 -
独立机器连接cdh的spark集群,远程提交任务(绝对可以成功,亲测了n遍)
local就是用本地spark执行,除了测试以外基本不会用,而且如果使用yarn模式或者其他模式,在代码中使用了local,还会导致spark-submit提交时,spark不知道以yarn模式运行还是以local模式执行,导致报错。spark-submit yarn提交任务,他会去读取HADOOP_HOME目录下yarn-site.xml以及其他配置,然后,通过driver去连接配置所对应的工作节点(集群上的节点),然后执行任务,将日志同步给本节点。yarn模式 cdh的模式 ,也是国内最多的模式。..原创 2022-08-08 11:25:36 · 2003 阅读 · 2 评论 -
cdh6,使用oozie进行spark的jar任务调度
首先准备1个jar然后保证他丢到服务器,能用spark-submit /跑。首先你得有oozie和hue,安装好了,才行。原创 2022-08-06 15:04:12 · 842 阅读 · 0 评论 -
spark 集群启动出现 Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2
spark使用hive中有比较多的坑,尤其是版本问题引起的jar包冲突,比较好的方式是使用与CDH匹配的hive和hadoop版本,这样可以减少很多的jar冲突问题,但是在IDEA调试过程中还是难免会碰到jar包冲突问题。...原创 2022-08-06 14:31:52 · 1692 阅读 · 0 评论 -
File does not exist: hdfs://xxx:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.3.2-mr-framewo
先用cdh安装yarn的mapredce的jar,然后在看看是不是时间问题,原因是0.5秒同步一次心跳,我其中一台节点,是在其他地方,所以网速不好。原创 2022-08-06 12:28:19 · 1104 阅读 · 1 评论 -
hdfs权限问题chmod: changing permissions of ‘/user/hive/warehouse‘: Permission denied. user=root is not t
将某个用户,添加到,hdfs超级管理员组中。更新权限到hdfs文件系统。原创 2022-08-05 13:23:58 · 2260 阅读 · 1 评论 -
metabase连接spark报错Could not open client transport with JDBC Uri: jdbc:hive2://192.168.x.xx:10000/def
真没法,解决,spark,服务要怎么开启,怎么连接,连哪个库,什么版本,官方都没有资料的。再重启这个服务nohup java -jar xxx.jar &最好还是用presto。spark就好好的完成自己的计算。ps -ef|grep metabase 查一下。重新添加发现错误变了,说明jar包添加成功。官方说,缺少依赖的话,要加到他的依赖中。然后放到plugins下面重启,服务。这是我的plugins插件目录。直接kill -9 这个服务。...原创 2022-08-05 12:14:08 · 781 阅读 · 0 评论 -
presto搭建,并配置hive
hive中的表字段不能为中文,如果为中文,presto会连接超时,但是hive本身以及hue或者spark都不会有影响。只有presto会连接超时英文开始正题:搭建什么的很简单。就是上面那个玩意,把我整傻了。因为他的报错原因就1个,超时。根本搜不到解决方案。谁能想到超时和中文字段有关?:)...原创 2022-08-04 23:57:39 · 1207 阅读 · 4 评论 -
presto启动成功后出现2022-08-04T17:50:58.296+0800 ERROR Announcer-3 io.airlift.discovery.client.Announcer
经过官网回复,这是老版本遗留的一个日志问题,这个只是表面情况,并不影响你任何服务。出现这种错误,但是我可以通过presto-cli访问它。原创 2022-08-04 17:55:08 · 945 阅读 · 0 评论 -
idea去掉spark的日志
尤其是这2个,要删除,否则会导致你设置的log4j.proerpties失效。1.直接在代码里设置日志级别,包含直接类中添加,和使用继承类(不推荐)spark默认会答应info,信息,他内置有log4j。3.添加log4j.prperties。创建一个这样的文件,名称也要一样。2.修改他的全局配置(不推荐)故,我们有3种方式解决。...原创 2022-08-04 09:44:00 · 1655 阅读 · 0 评论 -
我今天终于发现demo才是一切
尤其是针对架构人员,需要什么程序,先把demo拿来,而demo之前的环境依赖是非常耗时的一件事情,写代码很简单,无非就是创造,而搭建他的环境,以及demo之间的兼容和报错问题,经常让人头疼不已。今后,我要写各种demo到博客上。发这博客就是发个誓。...原创 2022-08-02 10:52:04 · 80 阅读 · 1 评论 -
在CDH的hue上的oozie出现,提交 Coordinator My Schedule 时出错
我刚开始以为是,workflow问题,然后单独运行workflow成功,结果显而易见是schedule的问题,那就1个调度器,不涉及业务,会出现的问题的情况非常少。,因为hue默认写的会被中文化字符。博主给的函数,不要直接复制,他的是中文字符,原来的函数是抄一个,参考文章博主的,发现会导致这个问题,于是修改就可以了。参考文章博主他给的函数慎用,不要复制,要自己写。修改了下函数,可以用了,几个注意点。补充一下,大家写的时候一定要注意,我不用函数,测试20220730。2.参数后面的函数有问题。...原创 2022-08-01 15:50:01 · 342 阅读 · 0 评论 -
cdh的hue上oozie启动报错,Cannot allocate containers as requested resource is greater than maximum allowed
我感觉很狗屁,于是我加大oozie的资源为2G,然后把yarn容器资源调成2.5G(在oozie和yarn的配置中)网上说是正常的,在hue中是看不到原因。需要获取他的外部地址,去oozie页面看。这是一个日志,相当于没有日志,只要是出错了,都会导致这种情况。这里我们修改oozie的默认值,将原来的2G改成了500MB。原因是,oozie启动资源默认,需要2GB。1.修改yarn资源调度的内存。2.修改oozie的默认值。跳转进hadoop,看日志。成功,没有报那个错误了。......原创 2022-08-01 15:13:42 · 1252 阅读 · 1 评论 -
cdh配置外部mysql([main] DbCommandExecutor ERROR Error when connecting to database.)
修改内容根据DB_HOST关键字查找脚本内容,将信息修改为数据库实际ip信息。原创 2022-07-18 16:17:03 · 1108 阅读 · 0 评论 -
springBoot全局异常定义
springBOOT定义全局异常,通过throw的方式原创 2022-07-05 17:20:48 · 303 阅读 · 0 评论 -
hive存储格式设置
存储格式区别非常大,默认是textFile,这种格式,如果你存储的数据格式是其他,然后你生成代码的时候写成了,create table as (select * from xxxx)。则会导致,你查询的表和你创建的表,数据量不一样大。原因是因为,比如,你查询表的格式是kudu,而你默认创建的是textFile格式,那kudu中数据的空格,会作为分隔符,导致你创建的表,不仅数据不准确,而且行数也不一样。...原创 2022-05-19 18:45:25 · 303 阅读 · 0 评论 -
恢复yum源配置为原生---小短文
大家用Yum下载东西的时候,想必都是阿里、豆瓣、清华源等吧,这些国内的开源镜像库确实很给力,但是,阿里虽好,可不要贪杯啊。那么,为什么这样说,你看。国内镜像【好处】就是快,美中不足的是,没有原生镜像源收录的多。如何恢复原生?1.进入yum源配置目录cd /etc/yum.repos.d/2.CentOS-Base.repo是yum源默认读取的内容这里面的url被我以前设置成了aliyun的,而我准备了一份备份CentOS-Base.repo.bak(这个就是默认的)3原创 2022-01-06 10:52:29 · 1005 阅读 · 0 评论 -
Log4j日志处理-----长文
将日志打印到控制台。场景2:将日志打印到日志文件中原创 2021-12-14 21:29:32 · 4207 阅读 · 1 评论 -
内存-硬盘优化法则-------小短文
半年来的,内存优化总结。原创 2021-12-13 10:09:14 · 1074 阅读 · 0 评论 -
hbase java Api Scan Limit ----小短文(含分页实现思路)
分页功能实现,startRow与Limit,可完成分页。Hbase默认scan是进行排序的。如果想取前1w行,则指定startRow,并且limit 10001。可以作为第一页。取末尾最后一个row,作为下一个的startRow。可实现分页。hbase shell:由于【rowStart和endRow】的获取速度和你get一样快,固常用于【Hbase迁移】,和更新。用于记录迁移的位置和【断点续传】。javaApi:pom、和基本配置连接我就不给了,我的另一篇博文有 。传送门原创 2021-12-10 13:49:35 · 4382 阅读 · 4 评论 -
IEDA java Application外部项目导入jar包,包找不到错误。--小短文
解决方式传统的application的maven项目,引用外部包时不能使用maven模式打jar包。采用下面模式原创 2021-12-02 09:28:23 · 193 阅读 · 0 评论 -
idea打包,如何将引入的maven依赖打进jar中(亲测)。---小短文
IDEA将依赖打入jar原创 2021-12-01 11:55:05 · 483 阅读 · 0 评论 -
hbase-root-master.pid: 没有那个文件或目录
输入jps居然没有,Hmaster于是 去他说的那个目录看了一下,发现只有HregionServer。并且里面对应的是pid(12019)这充分说明,这个Pid文件是用于记录你启动的项目的,并且是自动生成的。而hbase的关闭脚本,是按照顺序进行读取关闭,但是hbase的master在启动的时候就没有启动。所以没有生成pid,他关闭的时候自然也找不到这个文件。问题:查看日志,为什么没有启动的原因。...原创 2021-11-30 10:01:57 · 3019 阅读 · 1 评论 -
查看docker容器的日志
docker log 容器ID容器id怎么看呢,docker ps原创 2021-11-25 18:01:21 · 371 阅读 · 0 评论 -
爬虫xpath明明在页面能够解析到,但是在代码却解析不出来
解决方式,使用xpath解析后的element对象,打印一下(结果是源码的形态)。不要以页面为准,而要以源码为准(右键查看源代码)排错方式:打印element代码 string = etree.tostring(table, encoding='utf-8').decode('utf-8') print(string)1.图中tr是在tbody里面,但是代码获取不到,显示没有这个节点2.但是在源码上却是叫table..原创 2021-09-16 10:25:22 · 4688 阅读 · 2 评论 -
Scrapy爬虫 回调函数 传递参数
这么简单个东西,网上翻了许多,内容质量都偏低,于是自己也遇到了这个问题,就写篇博客发一下。问题:我要用使用回调函数,传递当前的结果,交给下一个parse进行爬取和解析在你要回调函数的后面加一个参数 meta={"字典key",你要传递的值}在回调后的函数中的,采用 response.meta["字典key"] 获取,你的值...原创 2021-09-15 17:04:31 · 256 阅读 · 0 评论 -
Python对xpath二次解析,解析结果为空[]
解决方案将红色部分改成绿色部分,去掉/原因:因为通过xpath第一次解析出来的结果是一个elements(他自带的类型)第二次解析的时候还是使用的是"/" ,那就是错误的,因为它的意思代表的是根目录解析(只对第一次转成html有效果)xpath的elements对象进行解析时,不用加 / 解析,直接解析就行...原创 2021-09-15 16:35:24 · 866 阅读 · 0 评论 -
python xpath提取标签内的所有内容(scrapy版本)
解决方案table_body = html.xpath('/html/body/table[2]/tbody/tr//td')先获取总的,然后先取含td外表的数据 keys=r.xpath('text()') 在取含标签的数据 vs=list(r.xpath('a/text()'))具体案例:需求:提取td中的所有内容,但是用text()方法提取不到a标签中的内容。 def parse2(...原创 2021-08-26 12:40:49 · 2832 阅读 · 0 评论 -
springBoot使用activeMQ发送消息,错误This class is not trusted to be serialized as ObjectMessage payload.
原因是因为他不支持 对象作为消息进行发送。但是他支持string,byte,序列化,数字类型。所以将对象转换为byte数组,在转换为对象解析即可附上相关转换代码。转换类的名字我叫做DataProcessUtils/*** 将对象转换为byte类型,用于 activeMq的消息传入,activeMQ不支持对象传输 ** */public static byte[] toByteArray(Object obj) { byte[] bytes = null; Byt原创 2021-08-18 15:47:48 · 417 阅读 · 0 评论 -
将本地jar包打包至springBoot中,再进行打包
1.首先在resource下创建lib目录,并且将本地jar(languag-praser-xxx)包放入其中。2.打开Pom.xml,在pom文件中【dependencys下】加入本地jar包的依赖这里只用修改【systemPath】${pom.basedir}后的内容,改为jar包全路径【取src到结尾的路径】 <dependency> <groupId>ljqc</groupId> &.原创 2021-08-13 18:20:43 · 367 阅读 · 1 评论 -
IDEA、Pycharm Debug入门教程
1.点击代码行左边的地方打断点断点的作用就是:当你采用debug排查代码出错的时候,能直接从这个地方开始。2.点击右上角的虫子开始以debug模式运行debug模式运行和普通运行一样,都是在跑程序,区别就在于debug是一句一句跑的,跑的时候,你点击了下一步,他才会执行下一句代码。并且他每执行一句,会给你返回一个结果。3.控制debug运行的,最主要的3个按钮第一个向下的箭头,代表执行此文件的下一行代码,如果你的这个代码调用了【其他文件】的代码,或者【此文件】的方法函数,他.原创 2021-08-06 15:23:57 · 493 阅读 · 0 评论 -
neo4j重复关联问题
我的步骤:1.读取csv创建节点A2.与Neo4j库中的节点B 做关系映射3.读取新csv增加节点A4.与库中的节点B做关系映射问题,是否会导致 原来的节点A中的数据与节点B的数据在进行一次关联,造成关联重复。测试后,确实会导致重复关联。解决方案:...原创 2021-05-13 17:07:00 · 1549 阅读 · 0 评论 -
彻底解决neo4j load 引号问题
问题:neo4j只能识别csv,而csv又是以"号作为字段的分割问题,那么"数据","数据A" 就会造成引号的问题。修改分隔符不为【,号】 从数据库导出数据时,以txt文档进行导出。并且自定义分隔符。之后将其改为csv格式。测试:改为;后,能够导入成功测试2:在文件中加入"字符,看看会不会报错。导入测试成功!测试3:那么转义字符会变成什么样子呢,测试出错了修改后\" 在他前面也加了一个\"即可经过【无数轮】测试后,结...原创 2021-05-11 16:24:29 · 1192 阅读 · 0 评论 -
Mongodb Unrecognized field ‘snapshot‘
我搜了半小时,全是Mongdb导出方案,却没有一个解决这个错误的方法,有篇博客提到了原因。mongdb版本不兼容,但是没有解决方案。我们国家那么多优秀的人才,肯定有人遇到了问题,为什么没有人去写一篇博客呢?难道你们都喜欢用国外最大的stackOverflow吗?可能是吧,这些人都不喜欢整中文。逼迫我学外语,哎于是我去了stackOverflow花了【10秒钟】解决了在百度解决不了的问题。后面加个这个就好最后希望大家多写博客,多造福中国人民,谢谢!--forceTableSca.原创 2021-05-10 14:15:11 · 2007 阅读 · 10 评论