python实例pyspark以及python中文显示

最新推荐文章于 2024-07-19 22:13:31 发布
最新推荐文章于 2024-07-19 22:13:31 发布
阅读量4.7k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengxuyuanyonghu/article/details/77775812
版权
%pyspark


#查询认证用户
​

import sys
#import MySQLdb
import mysql.connector
import pandas as pd
import datetime
import time

optmap = {
                'dbuser' : 'haoren',
                'dbpass' : 'G4d',
                'dbhost' : '172.12.112.5',
                'dbport' : 3306,
                'dbname' : 'GMDB'
                 }

def sql_select(reqsql):
    ret = ''
    try:
        db_conn = mysql.connector.connect(user=optmap['dbuser'], password=optmap['dbpass'], host=optmap['dbhost'], port=optmap['dbport'], database=optmap['dbname'])
        db_cursor=db_conn.cursor()
        count = db_cursor.execute(reqsql)
        ret = db_cursor.fetchall()
    except mysql.connector.Error as e:
        print ('Error : {}'.format(e))
    finally:
        db_cursor.close()
        db_conn.close
        return ret


userlist = []
def renzhengsingger(startday,endday):
    t1 = int(time.mktime(time.strptime(startday,'%Y-%m-%d %H:%M:%S')) )
    t2 = int(time.mktime(time.strptime(endday,'%Y-%m-%d %H:%M:%S')))
     for n in range(0,10):
        reqsql = "select PERFORMERID,sum(DURATION)/3600 from PERFORMERSHOWTIMERECORD%d where STARTTIME >=%s and STARTTIME <%s group by PERFORMERID ;" %(n,t1,t2)
        ret = sql_select(reqsql)
        
         userlist.append(ret)
    #print userlist    
     for i in range(0,10):
        for p in userlist[i]:
            print p[0],p[1]
            
renzhengsingger('2017-08-01 00:00:00','2017-09-01 00:00:00')  




======================================================================================================================

%pyspark

#查询认证用户

import sys
#import MySQLdb
import mysql.connector
import pandas as pd
import datetime
import time

optmap = {
                'dbuser' : 'haoren',
                'dbpass' : 'G4d',
                'dbhost' : '172.12.112.8',
                'dbport' : 3306,
                'dbname' : 'IMDB'
                 }

optmap1 = {
                'dbuser' : 'haoren',
                'dbpass' : 'G4d',
                'dbhost' : '172.12.112.5',
                'dbport' : 3306,
                'dbname' : 'GMDB'
                 }


def sql_select(reqsql):
    ret = ''
    try:
        db_conn = mysql.connector.connect(user=optmap['dbuser'], password=optmap['dbpass'], host=optmap['dbhost'], port=optmap['dbport'], database=optmap['dbname'])
        db_cursor=db_conn.cursor()
        count = db_cursor.execute(reqsql)
        ret = db_cursor.fetchall()
    except mysql.connector.Error as e:
        print ('Error : {}'.format(e))
    finally:
        db_cursor.close()
        db_conn.close
        return ret

def sql_select1(reqsql1):
    ret = ''
    try:
        db_conn1 = mysql.connector.connect(user=optmap1['dbuser'], password=optmap1['dbpass'], host=optmap1['dbhost'], port=optmap1['dbport'], database=optmap1['dbname'])
        db_cursor1=db_conn1.cursor()
        count = db_cursor1.execute(reqsql1)
        ret1 = db_cursor1.fetchall()
    except mysql.connector.Error as e:
        print ('Error : {}'.format(e))
    finally:
        db_cursor1.close()
        db_conn1.close
        return ret1


#定义查询认证用户函数
def renzhengsingger(startday,endday):
    t1 = int(time.mktime(time.strptime(startday,'%Y-%m-%d %H:%M:%S')) )
    t2 = int(time.mktime(time.strptime(endday,'%Y-%m-%d %H:%M:%S')))
    reqsql = "select PERFORMERID,from_unixtime(ADDTIME) from PERFORMERINFO where ADDTIME >=%s and ADDTIME < %s" %(t1,t2)
    ret = sql_select(reqsql)
    for i in ret:
        #print i[0]
         id = int(i[0])%10
        reqsql1 = "select sum(DURATION)/3600 from PERFORMERSHOWTIMERECORD%d where STARTTIME >=%s and STARTTIME <%s and PERFORMERID=%d" %(id,t1,t2,i[0])
        #print reqsql1
         ret1 = sql_select1(reqsql1)
        print i[0],",",i[1],",",ret1[0][0]
        

renzhengsingger('2017-08-01 00:00:00','2017-09-01 00:00:00')



================================================================================================
​​%pyspark

#encoding=gbk
#-*-coding:gbk-*-

import sys
#import MySQLdb
import mysql.connector
import pandas as pd
import datetime
import time

optmap = {
                'dbuser' : 'haoren',
                'dbpass' : 'G4d',
                'dbhost' : '172.17.12.8',
                'dbport' : 3306,
                'dbname' : 'IMDB'
                 }

optmap1 = {
                'dbuser' : 'haoren',
                'dbpass' : 'G4d',
                'dbhost' : '172.17.12.5',
                'dbport' : 3306,
                'dbname' : 'GMDB'
                 }

def sql_select(reqsql):  #定义数据库连接执行函数
    ret = ''
    try:
        db_conn = mysql.connector.connect(user=optmap['dbuser'], password=optmap['dbpass'], host=optmap['dbhost'], port=optmap['dbport'], database=optmap['dbname'])
        db_cursor=db_conn.cursor()
        count = db_cursor.execute(reqsql)
        ret = db_cursor.fetchall()
    except mysql.connector.Error as e:
        print ('Error : {}'.format(e))
    finally:
        db_cursor.close()
        db_conn.close
        return ret


def sql_select1(reqsql1):   #定义数据库连接执行函数​
    ret = ''
    try:
        db_conn1 = mysql.connector.connect(user=optmap1['dbuser'], password=optmap1['dbpass'], host=optmap1['dbhost'], port=optmap1['dbport'], database=optmap1['dbname'])
        db_cursor1=db_conn1.cursor()
        count = db_cursor1.execute(reqsql1)
        ret1 = db_cursor1.fetchall()
    except mysql.connector.Error as e:
        print ('Error : {}'.format(e))
    finally:
        db_cursor1.close()
        db_conn1.close
        return ret1


#批量查询消费者的昵称
​
def getnickname(uid):    #定义函数
    id = int(uid)%10
    reqsql = "select CHANNELNICKNAME from  CHARBASE%d where ID=%d" %(id,uid)    #数据库字段可能含有中文，需要处理后方可正常显示
    #reqsql = "select NICKNAME from  CHARBASE%d where ID=%d" %(id,uid)
    ret = sql_select(reqsql)
    return ret

userlist = [49072058,54332450,23154709]         #定义一个字典

for i in userlist:
    #查询消费者昵称
    ret1 = getnickname(i)
    ss = ret1[0][0]
    ss = ss.encode('unicode-escape').decode('string_escape')  #开始处理带有中文的字符
    nick_name = ss.decode('gbk')         #解码后方可正常显示
    print i ,nick_name
    
​
​=====================================================================================================
​#!/usr/bin/python
#-*-coding:utf-8-*-

import sys
import MySQLdb
#import pandas as pd
import datetime
import time

optmap = {
                'dbuser' : 'haoren',
                'dbpass' : 'qwomet',
                'dbhost' : '172.17.12.8',
                'dbport' : 3306,
                'dbname' : 'IMDB'
                 }

​
optmap1 = {
                'dbuser' : 'haoren',
                'dbpass' : 'qwomet',
                'dbhost' : '172.17.12.5',
                'dbport' : 3306,
                'dbname' : 'GMDB'
                 }


def sql_select(reqsql):
    try:
        db_conn = MySQLdb.connect(user=optmap['dbuser'], passwd=optmap['dbpass'], host=optmap['dbhost'], port=optmap['dbport'], db=optmap['dbname'])
        db_cursor=db_conn.cursor()
        db_conn.query("use %s"%optmap['dbname'])
        count = db_cursor.execute(reqsql)
        ret = db_cursor.fetchall()   #获取结果集
        db_cursor.close()
        db_conn.close
        return ret
    except MySQLdb.Error,e:
        print "Mysql ERROR %d:%s"  %(e.args[0], e.args[1])
    return ''


#或者这样写代替MySQLdb模块的写法
import mysql.connector

def sql_select(reqsql):
    ret = ''
    try:
        db_conn = mysql.connector.connect(user=optmap['dbuser'], password=optmap['dbpass'], host=optmap['dbhost'], port=optmap['dbport'], database=optmap['dbname'])
        db_cursor=db_conn.cursor()
        count = db_cursor.execute(reqsql)
        ret = db_cursor.fetchall()
    except mysql.connector.Error as e:
        print ('Error : {}'.format(e))
    finally:
        db_cursor.close()
        db_conn.close
        return ret

#遍历文件夹
def get_files(dir, pattern):
        res_file_list =[]
        if os.path.exists(dir):
                cur_file_list = os.listdir(dir)
                for file_name in cur_file_list:
                        if re.search(pattern, file_name):
                                res_file_list.append(file_name)
                return res_file_list
        else:
                return 'no'                              

def main(): 
#显示昨天的时间    例如 20170920​
        cur_day = time.strftime("%Y%m%d", time.localtime(time.time()-86400))
        print "cur_day=" ,cur_day

#换一种格式显示昨天的时间  例如 170920​
        log_day = time.strftime('%y%m%d', time.localtime(time.mktime(time.strptime(cur_day, '%Y%m%d'))))
        print "log_day=" ,log_day

        if len(sys.argv)>1:
                cur_day = sys.argv[1]
                log_day = sys.argv[1][2:]

        tabletime = cur_day
        print "tabletime=" ,tabletime

#截取  例如 2017-09-20​
        date = str(tabletime[0:4]) + "-" + str(tabletime[4:6]) + "-" + str(tabletime[6:])
        print "date=" ,date

         #显示0点0分0秒  例如2017-09-20 00:00:00​
        datetmp = date + " 00:00:00"
        print "datetmp=" ,datetmp

         #显示时间数组，例如 time.struct_time(tm_year=2017, tm_mon=9, tm_mday=20, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=2, tm_yday=263, tm_isdst=-1)​
        timeArray = time.strptime(datetmp,"%Y-%m-%d %H:%M:%S")
        print "timeArray=" ,timeArray

        #显示时间戳 例如 1505836800​
        timeStamp = int(time.mktime(timeArray))
        print "timeStamp=" ,timeStamp
main()
​

chengxuyuanyonghu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Python大数据之PySpark
Java/Python大数据成长之路
10-21 1183
在Driver端，Python通过Py4j来调用Java方法，将用户使用Python写的程序映射到JVM中，比如，用户在PySpark中实例化一个Python的SparkContext对象，最终会在JVM中实例化Scala的SparkContext对象。为了不影响现有Spark的运行架构，Spark在外围包装了一层Python的API，借助Py4j实现Python和Java的交互，即通过Py4j将PySpark代码“解析”到JVM中去运行。根据Spark官网，Spark支持Python语言编程。
Python大数据处理库 PySpark实战
04-15
本章将通过实例展示如何使用PySpark进行数据清洗、格式转换和加载，以及如何处理缺失值和异常值，为后续的数据分析打下坚实基础。 ### 第6章 Spark与分布式机器学习 PySpark整合了MLlib库，支持多种机器学习算法，...
《Spark Python API 官方文档中文版》 之 pyspark.sql (一)
zdy0_2004的专栏
11-04 7491
http://www.cnblogs.com/wonglu/p/7784556.html 摘要：在Spark开发中，由于需要用Python实现，发现API与Scala的略有不同，而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢，还是中文版比较容易get到所需，所以利用闲暇之余将官方文档翻译为中文版，并亲测Demo的代码。在此记录一下，希望对那些对Spark感
python中文昵称-python实例pyspark以及python中文显示
weixin_37988176的博客
11-01 129
%pyspark#查询认证用户import sys#import MySQLdbimport mysql.connectorimport pandas as pdimport datetimeimport timeoptmap = {'dbuser' : 'haoren','dbpass' : 'G4d','dbhost' : '172.12.112.5','dbport' : 3306,'dbn...
大数据集群（PySpark）+MySQL+PyEcharts+Flask：购物篮数据分析与挖掘
最新发布
chendengyi2的博客
07-19 1178
Assignment-1_Data”数据集，包含与消费者购物行为相关的数据，用于市场购物篮分析（MBA）和关联规则挖掘（Association Rule Mining），目的是通过分析消费者在购买过程中的商品组合，揭示商品之间的关联性和购买行为模式。数据集下载地址:购物篮数据集（1）季节性销售波动分析：数据明确显示，英国市场在2011年11月出现了显著的销售量激增，这一趋势很可能与年度购物季（如黑色星期五、圣诞节前购物潮）相吻合，随后在12月虽略有回落，但仍维持较高水平，反映出节日促销活动的持续影响。
mysql不能插入汉字或者是pyspark连接mysql输出或输入时汉字存在乱码问题
qq_20493629的博客
02-23 571
首先，我的mysql版本为 用pyspark连接数据库进行输出某表的内容 from pyspark.sql import SparkSession if __name__ == "__main__": """ 从mysql查询数据 """ spark = SparkSession.builder.getOrCreate() url="jdbc...
pyspark的中文编码问题
seekerhit的博客
08-02 6192
环境： python2.7 pyspark 2.4.3 用python读入一个字典，然后对spark SQL dataframe对中文做处理的时候，匹配不到，这个是中文编码问题。 python2.x 可用utf-8编码，但是pyspark是用unicode编码的，所以涉及数据交互的时候必须用进行编码和解码; python2.x 的中文是utf-8编码，需要 x.decode("utf...
python调用pyspark输出乱码
weixin_36551795的博客
07-05 64
Python相关视频讲解：python的or运算赋值用法用python编程Excel有没有用处？011_编程到底好玩在哪？查看python文件_输出py文件_cat_运行python文件_shel用Python调用pyspark输出乱码解决方法 在使用Python调用pyspark时，有时候会出现输出乱码的情况，这主...
Data Analysis with Python and PySpark MEAP
11-22
对于初学者而言，这部分将引导读者了解PySpark的基础概念，如SparkContext、DataFrame、RDD（弹性分布式数据集）等，并通过实例教学如何在Python环境中创建、读取和处理数据。这部分内容旨在使读者能够熟练运用...
Python机器学习项目实例：使用Pyspark进行客户流失分析和模型预测
04-25
总结来说，这个项目涵盖了数据预处理、特征工程、模型训练与评估、以及实际应用等多个环节，全面展示了Python和Pyspark在机器学习领域的强大功能，特别是对于客户流失分析这样的业务问题。通过这样的实战项目，我们...
大数据Spark技术分享 使用Python和PySpark进行Pandas UDF可扩展分析 共44页.pdf
07-18
### 大数据Spark技术分享：使用Python与PySpark进行Pandas UDF可扩展分析 #### 一、背景介绍 在大数据处理领域，Apache Spark作为一款高性能的大数据处理框架，因其强大的分布式计算能力而受到广泛欢迎。随着数据...
pycharm运行pyspark控制台乱码问题
no_hot的博客
04-17 1003
问题展示： 废话不多说，解决办法： 如图所示，Project Encoding 更改为GBK 问题解决：
pyspark踩坑
sinat_41715275的博客
01-02 1062
1：打印中文出现乱码的问题。 解决方法：添加 reload(sys) sys.setdefaultencoding('utf-8') 2：参数设置。 建议使用新api from pyspark.sql import SparkSession conf = SparkConf() conf.setMaster('yarn') conf.setAppName('psctwo') 参数 ...
【总结】PySpark的DataFrame处理方法：增删改差
热门推荐
weimingyu945的专栏
09-14 2万+
基本操作： 运行时获取spark版本号（以spark 2.0.0为例）： sparksn = SparkSession.builder.appName("PythonSQL").getOrCreate() print sparksn.version 创建和转换格式： Pandas和Spark的
分布式处理GBK中文
己亥孟陬
09-10 120
pyspark默认以utf8格式处理中文。当中文编码方式为gbk时，处理非常麻烦。 使用hadoop streaming，会方便许多。 假设有一份GBK编码的文件，用hadoop streaming处理如下： # mapper.py import sys import re for line in sys.stdin: words = line.strip() words = re.sub(" ", "", words) words = words.decode("gbk
spark加载中文乱码
龍 博客
07-18 7571
spark加载中文乱码在有些时候，spark加载HDFS或者本地文件中的中文时候会出现乱码的现象，因此需要在加载的时候进行一些字符的编码设置，将加载的文件的编码格式设置为UTF-8 以下是现有的解决方案和案例（直接读取hadoop file） val rdd = sc.hadoopFile(file_path, classOf[TextInputFormat], classOf[Long
工作中 pyspark的小知识点
maketubu7的博客
10-16 981
1、df.na.fill({'字段名1':'default','字段名2':'default'})   对空值进行替换 2、df.dropDuplicaates()    去重根据字段名进行去重，空参为全部字段 3、df.subtract(df1)     返回在当前df中出现，并且不在df1中出现的元素，不去重。 4、print time.localtime([timestamp])   ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值