- 博客(16)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 SyntaxError: '' string literal contains an unescaped line break
字面意思：字符串文字包含一个非转义行中断。事故现场：后台管理列表页面，每条记录可以通过编辑按钮更新记录，正常记录可以正常操作，个别记录点击“编辑”按钮，编辑页面错乱（页面没有按照js逻辑展示），浏览器控制台输出：SyntaxError: '' string literal contains an unescaped line break。处理流程：1.初步怀疑页面js因为后台传输参数错误导...
2018-08-29 22:48:37
8094
1
原创 Java与二维码的那些事儿
主要介绍java常用解析二维码的两种方式！第一种：使用1.maven依赖 <dependency> <groupId>QRCode</groupId> <artifactId>QRCode</artifactId> <version>3.0&...
2018-05-14 22:04:32
297
原创 spark源码解析之三、任务切分与运行
spark运行流程分为资源环境准备和任务提交运行两个步骤，两个步骤交叉进行，当前以任务提交为主线进行源码分析。资源环境准备线，可以参考spark源码解析之二、计算资源准备一、spark任务提交时序图本次源码跟踪是在yarn-cluster模式下的原码，在源码中只关注cluster模式，如果没有特殊说明，默认yarn-cluster模式。鉴于spark源码的复杂性，为了今后复习方便，按照时间先后顺序将spark应用启动的任务提交流程源码绘制时序图。在时序图中只是列举了重要的节点，与主题无关的类或者对象
2021-02-27 11:28:11
687
3
原创 spark源码解析之二、计算资源准备
spark运行流程分为资源环境准备和任务提交运行两个步骤，两个步骤交叉进行，当前以资源准备为主线进行源码分析。一、源码时序图二、源码详细分析1 org.apache.spark.deploy1.1 main def main(args: Array[String]): Unit = { //解析spark-submit命令提交的参数 val appArgs = new SparkSubmitArguments(args) if (appArgs.verbose) {
2021-02-24 19:05:09
512
原创 Spark算子学习之三、 groupBy、groupByKey和cogroup、join
1.groupBy1)函数签名def groupBy[K](f: T => K)(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])]2)功能描述 函数f接收参数类型为一个表达式，将T转化为K，结果中就以表达式的结果为key，即泛型K与入参保持一致，value为输入类型的列表，即泛型T对应入参T。 其实从函数的出入参对应关系可以看出，groupby只是对输入的数据，按照一定的规则进行分组。3)简单案例...
2021-01-15 18:25:28
571
原创 Spark算子学习之二、map、mapPartitions、mapPartitionsWithIndex、flatmap
1. map1)函数签名def map[U: ClassTag](f: T => U): RDD[U]2)功能描述 数f是一个函数，它可以接收一个参数。当某个RDD执行map方法时，会遍历该RDD中的每一个数据项，并依次应用f函数，从而产生一个新的RDD。即，这个新RDD中的每一个元素都是原来RDD中每一个元素依次应用f函数而得到的。3)简单案例sc.makeRDD(1 to 4,2).map(_*2).foreach(println)2.mapPart...
2021-01-15 17:37:44
337
1
原创 sparkStreaming updateStateByKey + 优化
一、关于算子updateStateByKey参数问题：dataDS.updateStateByKey(updateFunction).print()/** * Return a new "state" DStream where the state for each key is updated by applying * the given function on the pre...
2020-03-23 21:02:07
186
原创 spark.sql.AnalysisException: Table or view not found: xxx.xxx_xxxx_ad, the database dwd doesn't exis
最近项目中需要用到spark/hive 处理业务逻辑，手痒写了一些代码，结果不可描述。其实问题很简单，简单的无法描述。spark支持hive即可。Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: xxx.xxx_base_ad, the databa...
2020-03-18 13:51:48
1466
原创 Forbid consumer XXXXX access service XXXXX from registry XXXXX
出现这种问题主要原因在于BBBB服务没有注册到注册中心，或者注册到其它地方去了。本地注册没问题，到测试或者开发环境报错。网上总结原因，白名单没配置，消费端、提供方dubbo配置文件都没问题。产生原因：BBBB服务没有注册到注册中心，配置端口与其他服务重复。以至于本地跑没问题，开发测试环境有问题。...
2019-03-01 21:52:53
2951
原创 多选框、下拉列表禁用问题
后台项目中经常会用到下拉列表或者多选框，可能因为权限控制或者其它原因，要求在审核或则修改时禁用多选框或者下拉列表，使用$("#id").attr("disabled",true)可以禁用下拉列表或者多选框，但是这样会带来新的问题，被禁用下拉列表无法将数据传到服务端，如何做到既能禁用又能够将数据传到后台呢？提供一下几个思路： 1.正常采用$("#id").attr("d...
2018-07-11 21:50:03
2725
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人