鲜橙多的博客

retry的使用是用于访问其他方法或者接口失败的时候,需要多次重复回调查看具体的使用方法，参数如此之多，选择性使用class Retrying(object): def __init__(self, stop=None, wait=None, stop_max_attempt_number=None, stop_max_delay=None, wait_fi

关键字1：selfself指代 类的实例化 而不是类本身class Test: def prt(self): print(self) print(self.__class__)t = Test()t.prt()result：<main.Test object at 0x106274128><class ‘main.Test’>由打印结果知道 第一个为实例化地址值，第二个打印指代类本身关键字2：passpass 指代

一.##查看正在运行+历史运行过的容器docker ps -axianwangfudeMacBook-Air:~ brandonxian$ docker ps -aCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS

前言：为什么我们要进行自定义分区当spark进行数据处理key-value类型数据时，会遇到数据由于key值的分布不均倾斜的情况，为了使得资源的合理布置我们会进行重分区，根据spark内部提供的分区器 HashPartitioner & RangePartitioner，我们也可以实现自定义不bb了：test case：用如下数据做word count 实现自定义分区hadoop,sparkhivehivesparkhbase,hbasehbasehbase,hbase

一. sparkstreaming流式处理中也分为有状态计算及无状态计算无状态是指： 数据不保留之前批次计算的结果，每次的结算结果不相互依赖。有状态是指：当前批次的处理结果和之前批次处理进行更新或汇集。主要讲算子updateStateByKey先看方法：` def updateStateByKey[S: ClassTag]( updateFunc: (Seq[V], Option[S]) => Option[S] ): DStream[(K, S)] = ssc.wit

一. 在开始之前先熟悉几个相关的概念Executor由若干core组成，每个Executor的每个core一次只能执行一个Task每个Task执行的结果就是生成目标RDD的一个partiton换言之task数partition数是对应起来的，但是是rdd的分区数目决定了总的task数目这里的core是虚拟的core而不是机器的物理CPU核，可以理解为就是Executor的一个工作线程。3. task被执行的并发度 = Executor数目 * 每个Executor核数（=core总个数）注

springboot项目简单构建流程：idea构建maven项目添加pom依赖 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.5.0</version> </par

在Hive

一. setset /p 用于赋值 eg：将文本1.txt 的第一行数据 赋值给变量 aset /p a=<1.txt echo %a%set /a 用于计算 eg：如果直接打印%car% 结果将会是 ： 2*3set /a car= 2*3echo %car%二. for 循环参照：https://www.cnblogs.com/gered/p/10682741.html#autoid-4-0-0循环读取文件中的多行内容for /f "delims=, tok

语法逻辑：open [cursor] for [query_code] for [para1,para2…]下文中的例子：=2 就是第一个参数名；-- Created on 12/18/2020 by BRANDONXIAN declare type c_refcur is ref cursor; c_data c_refcur; l_str varchar2(100):='select 1 ids fr

declare type rowt_test is table of sf_org%rowtype index by binary_integer ;t_tab rowt_test;tcount number;cursor c_name(parents in number) is select org_id,org_name,parent_id from sf_org where parent_id =parents;begin t_tab.delete;for i i.

oralce的package由 包头和包体构成；包头声明要做的事情，包体做具体的实现，话不多说直接上代码：create or replace package pkg_firste_test as procedure p_update_lable(v_id in number);function addid(x in number,y in number) return number ;end ;-- -----------------------------------------

windows：进入mysql查看字符编码：show variables like "%char%"；一般来说是 databases 和server 两项是lantin1的编码集修改mysql的字符集： mysql> set character_set_client=utf8; mysql> set character_set_connection=utf8; mysql> set character_set_d.

一. 需求： 每天循环更新表的数据量create or replace PROCEDURE TEST /*作者：盈欢时间：2020/08/21*/AS COUNTS NUMBER ;SQLMSG VARCHAR2(100); CURSOR COR_LIST_STG IS SELECT TABLE_NAME FROM ALL_TABLES WHERE OWNER ='STG'; CURSOR COR_LIST_ODS IS SELECT TABLE_NAME FROM ALL

Scala的操作和Java的操作大同小异：import java.sql.{Connection, DriverManager, PreparedStatement, ResultSet}object JdbcHelper { // 此处不建议使用硬编码，最好是写在专门的常量接口中或者配置文件中，此处是为了方便 val sqlUrl = "jdbc:mysql://localhost:3306/test" val user = "root" val password = "12345

1. foldLeft查看源码： def foldLeft[B](z: B)(op: (B, A) => B): B = { var result = z this.seq foreach (x => result = op(result, x)) result }此处解析：入参为两个 (z: B) 和 op: (B, A) => B 即： 一个任意类型的 z 和 一个匿名函数 op再看将 z赋值给 result 并传进了 op的匿名函数

一.因为作者比较懒，这里没有做流式的数据接入，所以采用sparkcore的方式进行编码，使用者需要在真实环境中注意1） 数据的接入的改变，如 kafka集成sparkstreaming接入2） 黑名单过滤时候，应该是dstream作为输入，想要进行rdd操作需要使用transform算子，本文无法展示import java.util.Propertiesimport com.alibaba.fastjson. JSONObjectimport org.apache.spark.rdd.RDD

Shell的语法学习：创建一个测试文本：vi test.sh一. 简单Helloword#!/bin/bashecho "Hello World !"执行输出 Helloword！二.for循环#!/bin/bashecho "Hello World !"#循环输出 一串数字for var in 1 2 3 5 6doecho "the code is : $var"done#输出某个文件路径下的所有文件dirs=$(ls /opt/moduls/)for file

因为工作中会经常用到json数据和对象，集合，map，以及字符串之间的转换，因此做好一个总结引入一个fastjosn的依赖 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.47</vers

一. Idea构建一个springboot项目1）2）3） 将红标的后缀改为yml同时将连接数据库进行配置：spring: datasource: ##driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://localhost:3306/test