pyodps写入mysql分区表_dataworks中PYODPS2脚本数据库查询结果乱码处理

#-*- coding: utf-8 -*-

importdatetimeimportsys,timeimportsysfrom odps importoptionsimportsmtplibfrom email.header importHeaderfrom email.mime.text importMIMEText#设置编码(此设置可修复数据库查询结果中文乱码的问题)

reload(sys)

sys.setdefaultencoding('utf-8')#第三方 SMTP 服务#SMTP服务器

mail_host = "smtp.126.com"

#用户名

mail_user = "123@126.com"

#授权密码,非登录密码

mail_pass = "123456"

#发件人邮箱(最好写全, 不然会失败)

sender = '123@126.com'

#接收邮件,可设置为你的QQ邮箱或者其他邮箱

receivers = ['abc@qq.com','bcd@qq.com']#邮件主题

title = '邮件标题'

#发送邮件方法

defsendEmail(content):#内容, 格式, 编码

message = MIMEText(content, 'plain', 'utf-8')

message['From'] = "{}".format(sender)

message['To'] = ",".join(receivers)

message['Subject'] =titletry:#启用SSL发信, 端口一般是465

smtpObj = smtplib.SMTP_SSL(mail_host, 465)#登录验证

smtpObj.login(mail_user, mail_pass)#发送

smtpObj.sendmail(sender, receivers, message.as_string())print("mail has been send successfully.")exceptsmtplib.SMTPException as e:print(e)#设置ODPS参数

options.sql.settings = {'odps.sql.allow.fullscan': 'true'}

qcc_sql= """SELECT DISTINCT * FROM

(

SELECT

case WHEN flag1=1 then '正常'

ELSE concat(db_name,'中文乱码测试') end as result

FROM

(select

t2.db_name,t2.code,COUNT(1) as flag1

from ods_com_t_organization t2

where t2.is_company=1

and t2.is_deleted=0

AND nvl(t2.code,'')!=''

group by t2.db_name,t2.code

)t1

)t3

WHERE result != '正常'

;"""

#查询SQL获取结果

resdata =[]

with o.execute_sql(qcc_sql).open_reader() as reader:

resdata= [record.values for record inreader]#判断结果是否有数据,如无则正常,如有则发送邮件并报错退出

if resdata ==[]:print("数据正常")else:

result= "|".join(resdata[0])print(result)

sendEmail(result)

sys.exit(-1)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Spark将计算结果写入MySQL时,可能会遇到并发问题。下面是一些常见问题及解决方法: 1. 插入重复数据:如果在并行处理过程,多个任务尝试将相同的数据插入到MySQL,可能会导致插入重复数据的问题。解决方法是使用MySQL的唯一约束或主键来避免插入重复数据。 2. 数据丢失:如果在并行处理过程,多个任务尝试同时更新相同的数据,可能会导致数据丢失问题。解决方法是使用MySQL的事务隔离级别来保证数据一致性。 3. 性能问题:如果并发写入MySQL的数量过多,可能会导致性能下降。解决方法是使用连接池来管理MySQL连接,以便重用连接,避免频繁创建和销毁连接。 下面是一个Spark计算结果写入MySQL的示例: ```scala import java.sql.{Connection, DriverManager, PreparedStatement} import org.apache.spark.sql.{DataFrame, SparkSession} object SparkWriteToMysql { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("SparkWriteToMysql") .master("local[*]") .getOrCreate() // 读取数据 val df: DataFrame = spark.read .option("header", "true") .csv("data.csv") // 写入MySQL df.foreachPartition(partition => { // 获取MySQL连接 val conn: Connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/test", "root", "password") // 批量插入数据 val sql: String = "INSERT INTO test_table (col1, col2) VALUES (?, ?)" val pstmt: PreparedStatement = conn.prepareStatement(sql) partition.foreach(row => { pstmt.setString(1, row.getAs[String]("col1")) pstmt.setString(2, row.getAs[String]("col2")) pstmt.addBatch() }) pstmt.executeBatch() // 关闭连接 pstmt.close() conn.close() }) spark.stop() } } ``` 在这个示例,我们使用了`foreachPartition`操作,将DataFrame的每个分区并行写入MySQL。我们使用`DriverManager`获取MySQL连接,并使用`PreparedStatement`批量插入数据。最后,我们关闭连接,并停止SparkSession。 请注意,这个示例并没有处理并发问题,您需要根据您的具体情况进行适当的处理

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值