Orange橙不孤单-CSDN博客

原创 dolphinscheduler 二次开发问题记录

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。

2023-04-15 18:03:51 2574 9

docker run -d -p 9000:9000 --restart=always -v /var/run/docker.sock:/var/run/docker.sock --name prtainer docker.io/portainer/portainer （启动命令 -v把docker的数据持久化）-v /etc/localtime:/etc/localtime 让容器使用和服务器同样的时间设置。这个是可以连接其他得服务器也可以是本地的，在创建打包项目得时候这两个操作不一样。

2023-04-15 16:57:25 1295

转载 Hive On Spark报错

Hive On Spark环境中执行selectcount语句时候报错：Failedto execute spark task, with exception'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create sparkclient.)如图：报错完整信息是：hive> select coun...

2019-06-14 12:32:09 1624

原创 java 代码操作sqoop api 转数据到 hdfs 或者到hbase

这个问题折磨了我一周多了，今天解决完了写篇博客记录下，希望帮到遇到和我一样问题的小伙伴！！！！！！！！！！！！首先我们转数据用sqoop转数据的时候一般都是在安装好sqoop环境，用的sqoop的命令去转的数据，很少去写java代码去操作我这个实现主要是为了通过我的项目去做这个操作！一般sqoop的命令是这样的sqoop import --connect jdbc:ora...

2019-06-11 12:32:51 742 2

原创 Python正则表达式

正则表达式在我们之前学习过的js语言中有过正则的表达式主要的作用是用来做的信息的验证，而我们现在的Python正则呢和js的类似，但是用法上还是有很大的区别的Python的正则在一后的大数据的处理方面用到的还是比较多的什么是正则？正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。正则表达式的一些基本用法：import reline ...

2019-06-11 12:04:31 119

原创 zookeeper 连接不上一直重新连接的问题

首先我们要知道ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。我们搭建的组件都会在zookeeper上进行注册我们通过zookeeper就能访问到我们需要的组件，创建连接也是如此，当我们创建...

2019-06-11 12:01:56 4976

转载 Django入门

首先我们要创建一个项目:1.在python开发环境下载django的框架模块---》下载教程网上自己找2对比java框架学习更快速djangoproject: manage.py --- project admin tool application(model*,package*) install urls.py ---路由规

2017-11-15 18:08:47 248

原创 Python正则表达式应用

正则表达式在我们之前学习过的js语言中有过正则的表达式主要的作用是用来做的信息的验证，而我们现在的Python正则呢和js的类似，但是用法上还是有很大的区别的Python的正则在一后的大数据的处理方面用到的还是比较多的什么是正则？正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。正则表达式模式模式字符串使用特殊的语法来表示一个正

2017-11-06 16:28:16 171

原创 Python的网络编程

什么是网络编程？网络编程最主要的工作就是在发送端把信息通过规定好的协议进行组装包，在接收端按照规定好的协议把包进行解析，从而提取出对应的信息，达到通信的目的。计算机与计算机之间的通信要解决那些问题？通信协议：通信协议就是指信息的交流方式常见的通信协议： tcp :TCP（Transmission Control Protocol 传输控制协议）

2017-11-03 15:05:37 350 2

原创线程的创建和简单的使用

java中的创建线程的两种方法：1.创建一个类继承Thread2.创建一个类去实现Runnable实现的Runnable方法比继承Thread的方法更加的灵活买票实例的两种实现方法 class Ticket extends Thread 2 { 3 private static int num = 50; //定义成static，四个线程共享50张票。 4

2017-10-11 17:34:26 252

原创 Python回顾篇

迭代器和生成器迭代器迭代器就是可以帮助我们不断循环的做某件事情的工具，比如说我们使用for..in…循环一个数组，就是通过迭代器完成的。在python中，有个__iter__方法，一个类实现它既可进行迭代class ff: b = 0 def __init__(self,a): self.a = a def __iter__(sel

2017-10-09 13:45:44 312 1

原创 xml的解析

第一中w3c的解析方式去实现的1首先创建一个xml文件 xml中自定义但是标签要成对存在xml version="1.0" encoding="utf-8" ?>persons> person> name>zsname> age>19age> sex>女sex> person> person> n

2017-10-08 11:10:50 253

原创 python的io 与java的io流的使用及对象的序列化

io的使用采用流技术：字节inputStream/outputStream字符reader/writer首先介绍的是java的io的使用方法在下面的案例中d:/demo这些是你本地的路径，需要你自己去创建的public class Testio { public static void main(String[] args) { //输入输出选择

2017-10-08 10:51:23 956

原创 python小案例随机数冒泡排序字符串的列表的使用

#随机数的使用import random #导入randomrandom.randint(0,9)#制定随机数0到9i=random.sample(range(1,34),6)#输出6个随机数，范围是1到34i.sort()#排序方法，排序时更改原数组，无返回值sorted(i)#排序函数，排序时不影响原数组，产生新的排序后数据print('----------------用上述的随机数做一个双色

2017-10-08 10:39:22 1213

原创集合的排序

在之前我们所学的java的时候排序用到的是 Arrays.sort(a);//进行排序这个排序的方法适用于数组,当我们的学习深入之后呢就学到了集合，集合也有排序只是与数组的排序不同而已集合的排序用到了Collections.sort(集合名);当然这个排序也是有限制的并不是所有的集合都能排序比如：集合里面放的对象，当我们对对象进行排序的时候呢这个方法就会存在问题了下面一个

2017-10-08 10:01:16 1127

原创 Python基础第四课

Python面向对象首先我们要先回顾下函数的定义1.定义函数def shucai (n): print("蔬菜：￥7") if type(n)==types.FunctionType: return n()+7 return n+7定义函数的关键字是 def如同函数的定义一样我们定义类的关键字是 class示例如下：cla

2017-09-18 20:54:21 411

原创 Python基础第3课

Python基础--3函数：独立定义独立调用def foo() passfoo()方法：依赖定义，依赖调用方法存在于类的内部1.变量作用域全局本地闭包局部全局：global一般在函数体外定义的变量成为全局变量，在函数内部定义的变量称为局部变量。全局变量所有作用域都可读，局部变量只能在本函数可读函数在读取变量时

2017-09-15 23:32:07 244

原创 Python第二课

python基础知识——2流程控制(保证缩进都一致)选择结构 if bool: （判断一个元素是否包含另一个元素用in） else: 循环： whlie forfor 迭代变量 in 迭代器：范围 range (起始数，终止数，迭代大小)反转 reversed （倒着数）实例 for i in range(1,11,1)

2017-09-15 22:46:29 638

翻译 Python入门第一课

python基础以下的内容均在Python的开发工具中运行请自行下载编程的本质是什么？改变内存的状态1.python是强类型语言，python变量的定义是不需要指定数据类型的注意：声明变量时要注意变量名不能和Python本身自带的方法名一致，否则会覆盖掉Python自带的方法导致项目出错具体查看帮助文档如：

2017-09-15 21:53:01 253

huangweicheng123的博客