- 博客(62)
- 资源 (6)
- 问答 (3)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 MySQL 中 You can't specify target table '表名' for update in FROM clause错误解决办法
在MySQL中,写SQL语句的时候 ,可能会遇到You can't specify target table '表名' for update in FROM clause这样的错误,它的意思是说,不能先select出同一表中的某些值,再update这个表(在同一语句中),即不能依据某字段值做判断再来更新某字段的值。1、数据准备product表数据如下:lapto
2017-05-23 22:32:24
205223
14
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 OpenCV+OCR 图像处理字符识别原理及代码
需配置好OpenCV和OCR环境下运行1、OpenCV简介OpenCV的全称是Open Source Computer Vision Library,是一个跨平台的计算机视觉库。OpenCV用C++语言编写,它的主要接口也是C++语言,但是依然保留了大量的C语言接口。该库也有大量的Python, Java and MATLAB/OCTAVE (版本2.5)的接口。这
2016-12-14 22:41:19
112044
40
原创 Flink流处理API——State API (状态管理、状态编程)
原文链接;https://www.toutiao.com/i6860816918333358595/本文主要从以下几个方面介绍Flink流处理API——State API (状态管理)一、 状态管理 Flink中的状态 A. 算子状态: B. 键控状态(Keyed State)-- 更常用 C. 状态后端(State Backends) -- 状态管理(存储、访问、维护和检查点) 二、 状态编程版本:scala:2.11.12Kafka:0.8.2.2
2020-08-14 20:40:51
1410
1
原创 Flink流处理API——ProcessFunction API (底层API)
原文链接:https://www.toutiao.com/i6860721527952769539/本文主要从以下几个方面介绍Flink流处理API——ProcessFunction API (底层API)一、产生背景二、KeyeProcesFunction三、TimerService和定时器(Timers)四、侧输出流(SideOutPut)五、CoProcessFunction版本:scala:2.11.12Kafka:0.8.2.2Flink:1.7.2.
2020-08-14 20:39:20
654
原创 Flink流处理API——window(窗口) API详解
原文链接:https://www.toutiao.com/i6859649771255104012/本文主要从以下几个方面介绍Flink流处理API——window(窗口) API一、window概念二、window类型三、windowAPI 的Demo四、时间语义五、设置事件创建时间(Event Time)六、水位线(Watermark)七、watermark的API版本:scala:2.11.12Kafka:0.8.2.2Flink:1.7.2pom.
2020-08-11 17:17:07
874
原创 Flink流处理API——Sink
原文链接:https://www.toutiao.com/i6859235904779715076/本文主要从以下几个方面介绍Flink的流处理API——Sink一、输出到Kafka二、输出到Redis三、输出到MySQL数据处理的过程基本可以分为三个阶段分别是,数据从来哪里,做什么业务逻辑,落地到哪里去。这三部分在Flink中分别被称为Source、Transform和Sink其中Source部分可以参考这篇:Flink流处理API——SourceFlink 没有类似于 s
2020-08-11 14:52:28
753
原创 Flink流处理API——Transform(转换算子)
原文链接:https://www.toutiao.com/i6859612664646238724/本文主要从以下几个方面介绍Flink的流处理API——Transform一、map二、flatmap三、Filter四、KeyBy五、滚动聚合算子(Rolling Aggregation)六、Reduce七、Split和Select八、Connect和CoMap九、Union数据处理的过程基本可以分为三个阶段分别是,数据从来哪里,做什么业务逻辑,落地到哪里去。这
2020-08-11 14:49:57
689
1
原创 Flink流处理API——Source
原文链接:https://www.toutiao.com/i6859232281211437581/本文主要从以下几个方面介绍Flink的流处理API——Source一、从集合中读取数据二、从文件中读取数据三、从Kafka中读取数据四、自定义Source数据处理的过程基本可以分为三个阶段分别是,数据从来哪里,做什么业务逻辑,落地到哪里去。这三部分在Flink中分别被称为Source、Transform和Sink版本:scala:2.11.12Kafka:0.8.2.2
2020-08-10 14:26:01
422
1
原创 Flink从Kafka0.8中读取数据报Failed to instantiate SLF4J LoggerFactory Reported exception 错误
Flink从KAFKA中读取数据报以下错误:Failed to instantiate SLF4J LoggerFactoryReported exception:java.lang.NoClassDefFoundError: org/apache/log4j/LevelFlink版本:1.7.2KAFKA版本:0.8.2.2代码:package xxximport java.util.Propertiesimport org.apache.flink.api.com.
2020-08-09 15:27:53
565
原创 Flink原理——任务调度原理
原文链接:https://mp.toutiao.com/profile_v4/graphic/preview?pgc_id=6857894528381092364本文主要从以下几个方面介绍Flink的任务调度原理一、Flink运行时的组件二、TaskManger与Slots三、程序与数据流四、Flink的执行图五、Flink程序执行的并行度六、Flink程序任务链一、Flink运行时的组件Flink的运行组件Flink 运行时架构主要包括四个不同的组件,它们会在运
2020-08-06 23:36:31
2734
原创 SparkStreaming读取Kafka的两种方式
原文链接:https://mp.toutiao.com/profile_v4/graphic/preview?pgc_id=6855283208414560780本文主要从以下几个方面介绍SparkStreaming读取Kafka的两种方式:一、SparkStreaming简介二、Kafka简介三、Redis简介(可用于保存历史数据或偏移量数据)四、SparkStreaming读取Kafka数据的两种方式五、演示Demo一、SparkStreaming简介可以参考这篇文章:S
2020-07-30 22:44:22
2132
原创 Redis简介
原文链接:https://www.toutiao.com/i6854892323239625227/本文主要从以下几个方面介绍Redis:一、什么是Redis二、Redis支持的五种数据类型三、Redis应用场景四、Redis特性五、Redis的持久化六、Redis的Demo一、什么是Redis它是一种 NoSQL(not-only sql,泛指非关系型数据库)的数据库!!!!(三个月前面试某团时居然回答不出NoSQL数据库有哪些。。。。。。。)Redis(Remot
2020-07-29 21:27:41
134
原创 SparkStreaming 详解
原文链接:https://www.toutiao.com/i6854493461903901197/本文主要从以下几个方面介绍SparkStreaming:一、SparkStreaming是什么二、SparkStreaming支持的业务场景三、SparkStreaming的相关概念四、DStream介绍五、SparkStreaming的机制六、SparkStreaming的Demo一、SparkStreaming是什么在讲sparkStreaming是什么之前首先讲一下为
2020-07-28 19:42:14
1768
原创 Kafka(分布式发布订阅消息系统) 简介
原文链接:https://mp.toutiao.com/profile_v3/graphic/preview?pgc_id=6854137793556251147本文主要从以下几个方面介绍分布式发布订阅消息系统一、什么是Kafka二、kafka的特性三、kafka的使用场景四、kafka中相关术语介绍五、kafka相关机制六、kafka的Demo一、什么是kafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(rep
2020-07-27 20:49:09
822
原创 Spark——DataFrame 读写和保存数据
原文链接:https://mp.toutiao.com/profile_v3/graphic/preview?pgc_id=6849695183043297804本文主要从以下几个方面介绍Spark中的DataFrame读写和保存第一,DataFrame的介绍第二,Spark所支持的读写文件格式及示例第一,DataFrame的介绍DataFrame的前身是SchemaRDD,从Spark 1.3.0开始SchemaRDD更名为DataFrame。与SchemaRDD的主要区别是:Data
2020-07-15 21:26:58
5768
原创 SparkSQL——自定义UDF函数
原文链接:https://www.toutiao.com/i6849246325343683083/从Spark2.0以上的版本开始,spark是使用全新的SparkSession接口代替Spark1.6中的SQLcontext和HiveContext来实现对数据的加载、转换、处理等工作,并且实现了SQLcontext和HiveContext的所有功能。我们在新版本中并不需要之前那么繁琐的创建很多对象,只需要创建一个SparkSession对象即可。SparkSession支持从不同的数据源
2020-07-14 16:29:07
2054
原创 SparkSQL——DataFrame的创建与使用
原文地址:https://www.toutiao.com/i6848607197815898628/本文主要从以下几个方面介绍SparkSQL中的DataFrame:第一,SparkSQL的作用第二,什么是DataFrame第三,DataFrame与RDD的区别第四,DataFrame的创建与使用 (Spark1.x与Spark2.x两种不同版本)第一,SparkSQL的作用SparkSQL是spark处理结构化数据的一个模块,它的前身是shark,与基础的spark RDD不同
2020-07-12 23:02:59
1312
原创 Java线程池详细介绍——原理及详细使用
原文链接:https://www.toutiao.com/i6846340200134607374/关于线程和线程池的学习,我们可以从以下几个方面入手:第一,什么是线程,线程和进程的区别是什么第二,线程中的生命周期第三,单线程和多线程第四,线程安全第五,为什么使用线程池第六,线程池原理第七,线程池的使用第一,什么是线程,线程和进程的区别是什么?线程,程序执行流的最小执行单位,是行程中的实际运作单位,经常容易和进程这个概念混淆。那么,线程和进程究竟有什么区别呢?首先,进
2020-07-06 20:34:07
364
原创 Spark-实现自定义排序的六种方法(Scala版本)
原文链接:https://www.toutiao.com/i6845585556722680328/在实际开发中经常需要对数据进行排序统计,Spark的sortBy以及SortByKEy算子并不能完全适用开发场景,需要我们自定义排序规则,例如如下数据:Array("张三 16 98.3", "李四 14 98.3", "王五 34 100.0", "赵六 26 98.2", "田七 18 98.2")包含三个字段的学生数据,(姓名,年龄,成绩),我们需要按照成绩进行降序排序,成绩相同的按照年龄
2020-07-04 19:46:02
1943
原创 Spark 实现分组topn排序 (scala版本)
四种方法实现分组排序数据集格式:http://bigdata.edu360.cn/laoduanhttp://bigdata.edu360.cn/laoduanhttp://javaee.edu360.cn/xiaoxuhttp://javaee.edu360.cn/xiaoxuhttp://javaee.edu360.cn/laoyanghttp://javaee.edu360.cn/laoyanghttp://javaee.edu360.cn/laoyang按照每个学科求老师访
2020-06-30 19:10:14
1171
原创 yarn启动后自动关闭,JPS查看有resourcemanager,无resourcemanager
yarn-site.xml配置文件如下:<?xml version="1.0"?><!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You ma...
2019-05-06 16:43:33
7616
原创 java连接mysql数据库实现单条插入和批量插入
本文插入数据库的数据来源:https://blog.csdn.net/qq_29672495/article/details/828602261、连接数据库package com.njupt.ymh;import java.sql.DriverManager;import java.sql.SQLException;import com.mysql.jdbc.Connection...
2018-09-26 22:25:22
7335
原创 java + dom4j.jar 提取xml文档内容
资源下载页:https://download.csdn.net/download/qq_29672495/10689575本例程主要借助几个遍历的操作对xml格式下的内容进行提取,操作不是最优的方法,主要是练习使用几个遍历操作。xml格式文档内容:<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE nitf SYSTE...
2018-09-26 22:12:15
598
原创 Coursera普林斯顿大学算法下Week4:Boggle 拼字游戏
任务链接:http://coursera.cs.princeton.edu/algs4/assignments/boggle.html这次任务给的需要实现的方法很少,完成本次任务关键在于理清思路,需要实现较多的私有方法。需要自己设计单词树,将单词树中每个字符节点定义为一个类。private static class Node // 字典中节点类 { private boole...
2018-09-02 11:36:28
1461
原创 Coursera普林斯顿大学算法下Week3:Baseball Elimination 棒球淘汰赛
任务链接:http://coursera.cs.princeton.edu/algs4/assignments/baseball.html本任务的重点在于理解题目的意思,理解了意思很好编码。这篇文章对题目意思讲解的非常好,我也是看的他的才明白的:https://blog.csdn.net/lxinyuelxy/article/details/78605333import java.u...
2018-08-28 18:59:04
1225
原创 Coursera普林斯顿大学算法下Week2:Seam Carving
任务链接:http://coursera.cs.princeton.edu/algs4/assignments/seam.html本周任务没做出来,只求出了能量。本周任务难度的话,主要是数组、像素下标问题,感觉用起来不是很舒服。再一个就是求最小能量路径问题。本文在求最小能量路径的时候对于有些图可以准确的求出,有些就出错,找了半天也没找到原因,把有问题的代码贴出来,后续有时间再接着做。也找了...
2018-08-22 23:07:27
1036
原创 Coursera普林斯顿大学算法下Week1: WordNet 字网
任务链接:http://coursera.cs.princeton.edu/algs4/assignments/wordnet.html本次任务主要有三个类需要实现,WordNet、SAP、Outcast。其中,WordNet主要对单词文件进行处理,需要读取文件内容,该部分是参考别人的:https://www.cnblogs.com/lxc1910/p/8051822.htmlSAP是用来...
2018-08-15 20:59:36
1332
1
原创 Coursera普林斯顿大学算法Week5: Kd-Trees 线段树
任务链接:http://coursera.cs.princeton.edu/algs4/assignments/kdtree.html本任务的PointSET比较好实现,借用给的Point2D API比较容易而Kdtree任务比较复杂。主要是针对边界问题比较复杂,需要分清待插入节点的父节点是位于偶数层还是位于奇数层,根据不同的层数具有不同的点比较方案。private int comp...
2018-08-07 18:27:24
1161
2
原创 Coursera普林斯顿大学算法Week4:8 Puzzle 解迷
任务链接:http://coursera.cs.princeton.edu/algs4/assignments/8puzzle.html本次任务难点在于构建合理的内部变量,尤其是Solver类中的变量,然后根据提示一步步解出来就行了。Solver类中的变量如下: private SearchNode currentNode; private SearchNode cu...
2018-07-31 10:46:14
2324
原创 Coursera普林斯顿大学算法Week3: Pattern Recognition 模式识别
任务链接:http://coursera.cs.princeton.edu/algs4/assignments/collinear.html本次任务主要是比较器Comparator的使用。在暴力求解时,可以不必在最后再对三个斜率进行比较,先比较两个可以有效减少算法时间。在快速求解时,借助了一个内部类构成的数组存储点和斜率,并将这个数组按斜率进行排序,相同斜率的即为同一直线。在暴力和...
2018-07-22 21:46:17
814
原创 Coursera普林斯顿大学算法Week2: Deques and Randomized Queues 队列
任务链接:http://coursera.cs.princeton.edu/algs4/assignments/queues.html本周任务主要以下难点:1、根据各自特点选取实现Deques和Randomized Queues的物理存储方式。在本文中,选取双链表形式实现双端队列(Deques),选取数组形式实现随机化队列(Randomized Queues)2、在实现Deques的过...
2018-07-17 20:29:55
1147
2
原创 Coursera普林斯顿大学算法Week1: Percolation 渗透
首先说一下做这个作业大概的几个要点:1、可以不使用官网提供的编译环境进行编程,在eclipse里引入algs4.jar包就可以了,另外使用缺省包。2、不要使用for语句,不然时间会超出。3、可以加入虚头节点和虚尾节点减少问题复杂度。4、在加入虚节点后会出现backwash问题,使用两个QUF。一个QUF包含虚头和虚尾节点,用于判断是否渗透。一个QUF只包含虚头节点,用于对full节点计数。5、比较...
2018-07-11 17:03:30
1667
1
原创 linux下C实现客户端服务器通信框架
服务器端首先等候客户连接请求,一旦连接成功则接受客户端发送过来的字符,采用带有头结点的链表方式存贮字符,每个结点存储一个字符,接着通过对链表实现插入删除操作,完成对字符的升序排序,最后将排序后字符发送给客户端。客户端首先与服务器相连,接着发送客户端名字,然后发送客户信息,接受到服务器发送来排序结果并且显示。服务器端代码:server.c#incl
2017-09-23 21:09:44
1346
原创 借助C语言中的指针解读Java按值调用
我们都知道,在程序设计语言中有关将参数传递给方法(函数)的形式主要有两种,按值调用(call by value)表示方法接受的是调用者提供的值,按引用调用(call by reference)表示方法接受的是调用者提供的变量地址。一个方法可以修改传递引用所对应的变量值,而不能修改传递值所对应的变量值。这个可以借用C语言中的传递的普通参数还是指针参数来理解。
2016-10-17 19:47:28
711
原创 复写Object超类的equals,hashCode,toString方法
我们知Object类是Java中所有类的始祖,在Java中每个类都是由他发展而来的,但是却不需这样写:class Employee extends Object 因为如果没有确切的指出类的超类,Object就会被认为是这个类的超类。根据继承的规则,可以使用Object类型的变量引用任何类的对象:Object obj = new Student (“lily”,17);当然,Object类型的变量只能用于作为各种值的通用执行者。要想对其中的内容进行具体操作,还需要清楚对象的原始类型,并进
2016-10-17 14:44:19
1064
4
转载 Java中的String与常量池
string是java中的字符串。String类是不可变的,对String类的任何改变,都是返回一个新的String类对象。下面介绍java中的String与常量池。
2016-10-17 10:13:53
356
1
转载 程序员才懂的情诗
void main(){ double world; unsigned letter; short stay; long memories; pringtf("I miss you.");}虚实的世界未名的信件短暂的相聚长久的回忆汇成一句:我想念你ps:转自 微信公众号:程序员的那些事
2016-09-17 16:31:39
1148
原创 java语言基础入门——JDBC(使用Java连接数据库)
JDBC的全称为JAva Database Connectivity ,即Java数据库连接之意。JDBC是Java用来连接和访问数据的应用编程接口(API),可以通过他完成 一系列的数据库操作。使用JDBC的好处是可以“一次编写,处处运行”,即开发人员不必为了访问不同的数据库编写不同的程序。开发人员只要使用规范的API接口以及标准的sql语句就可以避免直接处理底层数据库驱动程序与相关操作接口的差
2016-09-06 20:05:19
3398
2
原创 MySQL常用语法命令及函数
#创建数据库# create Database 数据库名;#查看数据库# show databases;#选择数据库# use 数据库名;#删除数据库# drop database 数据库名;#创建表# create table 表名(属性名1 数据类型 ,属性名2 数据类型。。。。);#查看表结构# desc 表名;
2016-08-21 17:01:44
3457
TA创建的收藏夹 TA关注的收藏夹
TA关注的人