![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
坑爹那回事
文章平均质量分 71
天心有情
这个作者很懒,什么都没留下…
展开
-
dolphinscheduler源码环境配置
DolpinScheduler 开发环境配置文章目录DolpinScheduler 开发环境配置前言环境搭建前言dolphinscheduler作为开源调度平台已经被很多的企业采用,其发展速度也是非常快,现在已经处于微内核和插件化架构升级中,各种的功能可以通过插件化的形式集成。但是其入门的介绍包括一些视频都是早期编写的,没有在入门章节提起这部分,其实插件化部分有写这部分文档,但是需要用户自行翻阅。环境搭建git上面下载dolphinscheuler的源代码 git地址为 [点击进入]使用原创 2021-07-11 23:19:13 · 1495 阅读 · 1 评论 -
scrapy 安装
scrapy 安装文章目录scrapy 安装安装python管理模块anaconda下载位置环境变量使用conda命令安装scrapy安装命令一些常见的错误安装python管理模块anaconda下载位置下载位置可以去清华镜像,不要问为什么?除非你可以忍受特别低的下载速度 点击进入下载页面 选择你需要的版本环境变量配置环境变量将conda的安装目录配置到你的环境变量中路径有两个,我的...原创 2020-04-21 11:24:36 · 636 阅读 · 0 评论 -
DataNode数据块丢失问题查找
HDFS数据块丢失问题文章目录HDFS数据块丢失问题问题发现问题定位找到原因新的问题的产生向前一小步查看影响问题发现正在跑Spark任务的时候,代码提交上去了,代码提交之后肯定是要通过yarn上传到HDFS上面,然后各个节点就可以看到jar包了。但是这个时候突然间报错NameNode进入了安全模式。【注:进入安全模式之后你就只能查看hdfs上面的内容,不能创建。因此上传jar包失败】。于是...原创 2019-12-06 11:54:23 · 1403 阅读 · 0 评论 -
记一次HBase的STUCK Region-In-Transition问题
HBase STUCK Region-In-Transition问题产生原因HBase2.x的Procedure是记录了HBase的各种操作,比如创建表、删除表、禁用表。当他出现不一致的时候可能就会导致STUCK Region-In-Transition。解决方案HBase2.x已经有了相当先进的修复工具hbck2,但是这个修复工具试基于HbckService类来完成的,而HBase2.x......原创 2019-10-18 17:06:32 · 3052 阅读 · 1 评论 -
hadoop3.x端口改动
近日学习hadoop3.x,一切安装完成,格式化namenode 然后发现怎么也打不开50070界面如图所示刚开始以为是配置错误了,检查多次配置文件和防火墙发现都没问题,然后又测试把文件上传到hdfs试验,发现也可以。于是我明白可能是hadoop3.x端口进行更改了。那么问题来了。新的端口是什么呢???于是我进行敲击了如下命令[hadoop@hadoop hadoop]$ netstat...原创 2019-03-24 10:58:02 · 5930 阅读 · 0 评论 -
从两个HDFS集群之间拷贝数据命令
从两个HDFS集群之间拷贝数据命令1 distcp命令命令如下:hadoop distcp hdfs://a01:8020/lime/ hdfs://nameservice/该命令在需要数据的集群上面进行执行,执行过程需要跑MR程序。有的时候我在其他节点上需要数据,同时我需要的是把数据从hdfs上面下载下来,以前我的方式是通过 distcp拷贝其他集群的数据.。 然后去本地集群上通过...原创 2019-08-22 14:46:27 · 5323 阅读 · 0 评论 -
Neo4j导入数据超过限制怎么办
Neo4j导入数据超出限制今天neo4j导入数据的时候报错了original error: Maximum id limit for PROPERTY has been reached. Generated id 68719476796 is out of permitted range [0, 68719476735]这说明我的属性超出了限制个数68719476735,然后分配了一个新的...原创 2019-08-26 11:35:56 · 1515 阅读 · 2 评论 -
HBase启动报错Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder
HBase报错问题HBase运行好好的,突然之间重启之后再也起不来了,一直报错。Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder类似的就是这个htrace包里面的内容。去安装的lib里面查发现真的没有和它有关jar包,再看lib里面的目录client-facing-thirdpar...原创 2019-08-27 09:46:39 · 929 阅读 · 0 评论 -
升级CDH集群的JDK
升级CDH集群的JDK更改所有节点的java命令[root@a01 ~]# whereis javajava: /usr/bin/java /etc/java /usr/lib/java /usr/share/java /usr/share/man/man1/java.1.gz[root@a01 ~]# ll /usr/bin/javalrwxrwxrwx. 1 root root 22...原创 2019-09-05 17:46:24 · 545 阅读 · 1 评论 -
Spark 加载PMML格式模型在线预测
Spark 加载PMML格式模型在线预测Spark 加载PMML格式的模型文件目前spark自身是不支持这个pmml类型模型的,想要使用它可以采用github上面的插件jpmml-evaluator-sparkgithub地址 但是它上面的东西描述的优点抽象,使用的时候可能遇到很多的坑,比如使用的时候导入依赖<dependency> <groupId>or...原创 2019-09-06 11:49:39 · 2574 阅读 · 4 评论 -
HBase数据迁移方案
HBase2.1.0数据迁移方案文章目录HBase2.1.0数据迁移方案步骤一、迁移HFile数据步骤二、迁移表的region步骤三、bulkload数据业务要求:将数据从旧的集群HBase1.2迁移到HBase2.1.0中去。每个表的数据量级10TB左右值得注意:HBase升级到Hbase2.x之后,他的数据修复工具独立出来作为 HBCK2 成立了一个单独的项目 ,并且这个项目并不是所有的......原创 2019-09-25 16:04:22 · 4682 阅读 · 7 评论 -
ElasticSearch的内前对象过滤聚合
Elasticserach内嵌对象过滤聚合比如某一个内嵌对象的字段形式为{type:汽车车型style:汽车车系}此时选出了具有某种汽车车型比如 五菱的人,数据在此字段中还包含 奥迪汽车。{ "size": 0, "query": { "nested": { "path": "car", "query": { &quo原创 2018-11-08 16:48:33 · 1029 阅读 · 0 评论 -
Elasticsearch查询的时候setSize不起作用,而且匹配的数据还不正确。
最近使用ES做项目,使用的过程中发现ES返回的结果是错误的,这个问题肯定不是ES本身的问题,他作为一个成熟的框架是不可能犯这些小错误的,于是我就想问题是出在了我自己身上,但是代码中根本不报错。 后来发现原因出在了setSource()上面 它和setQuery的顺序决定了结果返回的正确性,我猜想这个SearchBuilder是使用了建造者模式,建造的顺序不能混乱,因此写代码的时候一定要注意...原创 2018-08-23 19:14:56 · 2763 阅读 · 0 评论 -
./spark-shell: line 44: 6609 Killed "${SPARK_HOME}"/bin/spark-submit --class
./spark-shell: line 44: 6609 Killed "${SPARK_HOME}"/bin/spark-submit --class今天一直遇到spark异常,从来没有见到过这种异常,百度搜索也总是搜索不到,只能一个一个改配置文件,我以前的配置文件是配置了HADOOP_CONF_DIR=/root/hadoop-2.7.3/etc/hadoopexport JA原创 2017-07-31 16:46:13 · 4336 阅读 · 0 评论 -
HDFS使用API操作文件权限
在使用命令行时我们可以使用命令hdfs dfs -chmod 777 /文件名来修改文件权限。但是往往在实际应用中我们不能使用命令行。这时就要使用hadoop提供的API进行权限的控制。Hadoop权威指南也已经很清楚的提示了权限的用法(Hadoop权限管理权威指南)下面我就写一个小例子public class HdfsUtils { /* * create by Li原创 2017-08-10 13:54:11 · 5591 阅读 · 2 评论 -
Idear部署web项目过程
IDEAR 部署web项目打开File->setting->Application Services把提前下载下来的tomcat设置到idear中 点击file-->projectstructure-->modules,选择要部署的web项目,点击+,在弹出来的下拉框中选择web,在name中输入自己想要的名字。如下图: 选择打war包原创 2017-08-28 17:22:52 · 1080 阅读 · 0 评论 -
scala的无参函数什么时候加括号,什么时候不加括号
在scala语言中,没有参数的函数可以加括号也可以不加括号。有什么区别呢?有括号的函数调用时可以加括号也可以不加括号 不带括号的函数调用时一定不能加括号那么具体什么情况下写无参的函数加括号,什么时候不加括号呢?无副作用的函数省略括号有副作用的函数添加括号(提醒使用者需要额外小心)原创 2017-12-20 11:57:04 · 3871 阅读 · 3 评论 -
scala中extends和with的使用
在scala中有的时候用extends有的时候用with,到底该用什么呢? 请看下面用例 trait Mytrait1{ def doSomething(str:String):Unit={ println(s"$str is doing") } } trait Mytrait2{ def forfun():Unit原创 2017-12-11 14:48:05 · 15880 阅读 · 3 评论 -
scala 隐式转换,隐式参数,隐式类
Scala隐式转换Scala的隐式转换是一个十分常用的功能这里我们将介绍怎么简单的使用隐式转换。package data/** * Created by LiuWenSheng on 2017/9/29. */class MyInt(i:Int){ private val pro = i def +(x:MyInt)= new MyInt(x.pro+this.pro)}obj原创 2017-09-29 12:11:31 · 368 阅读 · 0 评论 -
Scala的单元测试
Scala有着自己的单元测试,当然它也可以使用java的junit等单元测试1、准备工作你根据你需要的版本去下载单元测试的jar包(点击进入下载地址,从maven上面下载)测试用例代码class TestUtils { def Add(i:Int,j:Int):Int ={ i+j }}2、单元测试2.1 Suit单元测试测试代码import or原创 2017-08-15 11:12:25 · 8911 阅读 · 0 评论 -
scala的可堆叠特征
scala中trait可以提高代码的可重用性,假如有很多特质,并且特质中有着重复的方法,那么这是调用的是哪一个特质的方法?请看如下示例 trait T1{ println("T1 is created!") def myprint={ println("T1's my print") } } trait T2{ d原创 2017-12-12 15:24:42 · 313 阅读 · 0 评论 -
身份证校验算法
package util;import java.text.SimpleDateFormat;import java.util.Date;/** * Created by LiuWenSheng on 2018/1/11. */public class CheckIdCard { private final static int NEW_CARD_NUMBER_LENGTH原创 2019-07-02 12:42:40 · 284 阅读 · 0 评论 -
‘conda‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件。
'conda' 不是内部或外部命令,也不是可运行的程序或批处理文件。今天安装Anaconda,安装之后运行发现总是提示命令找不到,但是我检查环境变量发现环境变量已经配置好了,而且看了很多次发现没有错误原来是因为我用了ListArr软件打开的cmd窗口,这款软件打开的cmd窗口没有更新环境变量,依旧是开机之前的配置解决办法:在windows左下角自带的搜索工具的(或wi...原创 2017-05-02 23:39:24 · 54624 阅读 · 12 评论 -
Name node is in safe mode.(NameNode处于安全模式)
当我给自己的程序打包,然后放入Hadoop中运行时出现异常17/03/29 22:38:37 INFO client.RMProxy: Connecting to ResourceManager at master/172.18.63.28:803217/03/29 22:38:37 WARN mapreduce.JobResourceUploader: Hadoop command-lin原创 2017-03-29 22:50:29 · 15252 阅读 · 5 评论