mysql
文章平均质量分 79
小卢的博客
奥力奥力给~
展开
-
flink sql(自定义函数)消费数据写入mysql
flink sql(自定义函数)消费数据写入mysql集群的flink版本1.9.0kafka版本0.81、pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="原创 2020-11-07 17:22:46 · 1138 阅读 · 0 评论 -
spark streaming消费kafka数据手动管理偏移量offset到zookeeper,保证精准消费一次
Spark Streaming消费kafka数据手动管理偏移量offset到zookeeper,保证精准一致消费,最终的处理结果保存在mysql中。spark的版本是2.1kafka的版本是0.8代码:/** * @author lhq * @date 2020/10/10 10:35 * @version 1.0 */import java.sql.{Connection, DriverManager, PreparedStatement}import kafka.com原创 2020-10-10 17:19:25 · 593 阅读 · 0 评论 -
datax实现mysql数据同步到oracle
一、mysql数据同步到oracle注意:mysql不区分大小写,但是oracle严格区分大小写,并且oracle的库名、表名和字段名要用大写,如果用的小写需要添加双引号说明。{“job”: {“setting”: {“speed”: {“byte”: 1048576}},“content”: [{“reader”: {“name”: “mysqlreader”,“parameter”: {“column”: [“sjh” ,“xm” ,“sfzh”],“connectio原创 2020-10-09 17:01:58 · 1168 阅读 · 0 评论 -
flink使用DataStream Api消费kafka数据保存到mysql
flink使用DataStream Api消费kafka数据保存到mysqlpom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apa原创 2020-06-01 15:13:15 · 923 阅读 · 3 评论 -
flink使用dataStream Api消费数据保存到mysql
记录一下基础的自定义sink:flink处理流式数据保存到mysql中话不多说,上代码:pom.xml<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.7.0</flink.version> <java.version>1.8</jav原创 2020-05-27 18:45:45 · 959 阅读 · 0 评论 -
Datax实现odps和mysql之间数据传输
一、 mysql的数据加载到odps的表中{“job”: {“setting”: {“speed”: {“byte”: 1048576}},“content”: [{“reader”: {“name”: “mysqlreader”,“parameter”: {“column”: [“id”,“name”,“password”,“position”],“connec...原创 2020-04-08 15:47:14 · 1868 阅读 · 0 评论 -
Incorrect string value: '\xE5\xBC\xA0\xE6\x96\x87...'数据库字符集问题解决
因为我的mysql数据库创建时,忘记设置编码为utf8了,然后再创建表的时候每一列的编码也是latin1,所以才会报这个错误。解决:然后通过查看数据表编码show create table person;查看每一列的编码,将latin1修改为utf8就可以了。...原创 2020-04-02 14:26:20 · 549 阅读 · 0 评论