Python-mysql 抽取数据 脚本

最新推荐文章于 2024-07-20 17:12:48 发布
最新推荐文章于 2024-07-20 17:12:48 发布
阅读量173 收藏
点赞数
文章标签： python 数据库

全部十几款游戏,大概200+区组,3000+服务器,需要抽取日志进行运营计算,所以紧急学习python实现自动化,5进程,每进程2线程抽取所有区组数据.4天内完成...直接上代码

启动main

import multiprocessing
from com.gyyx.common.inverted import inverted

def do_calculation(row):
    print ('run', multiprocessing.current_process().name)
    print row
    inverted.trn_dist(row)

def start_process():
    print ('Starting', multiprocessing.current_process().name)

if __name__ == '__main__':

    set=inverted.trn_getdist()
    
    pool_size = 5
    pool = multiprocessing.Pool(processes=pool_size,
                                initializer=start_process,
                                )
    
    pool_outputs = pool.map(do_calculation, set)
        
    pool.close() # no more tasks
    pool.join()  # wrap up current tasks

    print ('Pool    :' + str(pool_outputs))

每组服务器调用 
 

 

from com.gyyx.DBUtility import MySQLHelper
from com.gyyx.tools.commons import commons
from com.gyyx.common.important_log import important_log
from com.gyyx.common.cost_log import cost_log
from com.gyyx.common.credit_log import credit_log
from com.gyyx.tools.threadManager import WorkManager
from threading import Thread
from multiprocessing import Pool
from time import sleep

class inverted(object):
    @staticmethod
    def trn_getdist():
        sql='SELECT dist,ip1,ip2,ip3 FROM dist_wd WHERE flag=1 AND dist>0'
        return MySQLHelper.executeList(dbs=commons.db191_game_conf, sql=sql,dict='d')
        
    @staticmethod
    def trn_dist(row):
        paramimg={'dist':row['dist'],'ip':row['ip2'],'port':3306,'db':'ldb','user':commons.distuser,'pwd':commons.distpwd}
        imglog=important_log(paramimg)
        thimg=Thread(target=imglog.doData)
        thimg.start()
        
        paramcost={'dist':row['dist'],'ip':row['ip1'],'port':3306,'db':'adb','user':commons.distuser,'pwd':commons.distpwd}
        costlog=cost_log(paramcost)
        thcost=Thread(target=costlog.doData)
        thcost.start()
        
        thcost.join()
        
        paramcredit={'dist':row['dist'],'ip':row['ip1'],'port':3306,'db':'adb','user':commons.distuser,'pwd':commons.distpwd}
        creditlog=credit_log(paramcredit)
        thcredit=Thread(target=creditlog.doData)
        thcredit.start()
        
        thimg.join()
        thcredit.join()
        

 

 逻辑基础类 

 

 

from datetime import datetime
'''
Created on Jan 10, 2012

@author: admin
'''

class base_log(object):

    @staticmethod
    def doData(obj_log):
        obj_log.createTable()
        month=1
        while month<13:
            day=1
            while day<27:
                bdate=datetime(obj_log.year, month, day, 0, 0, 0).strftime('%Y%m%d%H%M%S')
                edate=''
                if(day+5>30):
                    if(month==12):
                        edate=datetime(obj_log.year+1, 1, 1, 0, 0, 0).strftime('%Y%m%d%H%M%S')
                    else:
                        edate=datetime(obj_log.year, month+1, 1, 0, 0, 0).strftime('%Y%m%d%H%M%S')
                else:
                    edate=datetime(obj_log.year, month, day+5, 0, 0, 0).strftime('%Y%m%d%H%M%S')
                set=obj_log.getData(bdate,edate)
                obj_log.setDate(set)
                del set
                day+=5
            
            month+=1
            
    @staticmethod
    def doDataMonth(obj_log):
        obj_log.createTable()
        month=1
        while month<13:
            bdate=datetime(obj_log.year, month, 1, 0, 0, 0).strftime('%Y%m%d%H%M%S')
            edate=''
            if(month==12):
                edate=datetime(obj_log.year+1, 1, 1, 0, 0, 0).strftime('%Y%m%d%H%M%S')
            else:
                edate=datetime(obj_log.year, month+1, 1, 0, 0, 0).strftime('%Y%m%d%H%M%S')
            set=obj_log.getData(bdate,edate)
            obj_log.setDate(set)
            del set
            month+=1
 

 逻辑扩展类 1important_log 

 

 

from com.gyyx.DBUtility import MySQLHelper
from com.gyyx.tools.commons import commons
from com.gyyx.common.base_log import base_log

'''
Created on Jan 9, 2012

@author: admin
'''

class important_log(object):
    
    def __init__(self,param):
        self.dist=param['dist']
        self.ip=param['ip']
        self.user=param['user']
        self.pwd=param['pwd']
        if(param.has_key('port')):
            self.port=param['port']
        else:
            self.port=3306
        if(param.has_key('db')):
            self.db=param['db']
        else:
            self.db='ldb'
        self.year=commons.log_year
        self.tablename=str(self.dist)+'_important_log'
        self.dbs={'host':self.ip,'port':self.port ,'db':self.db, 'user':self.user, 'passwd':self.pwd}
        self.conn=MySQLHelper.getConn(self.dbs)
        self.dbcenter=MySQLHelper.getConn(commons.db199_important)
    
    def getData(self,bdate,edate):
        sql="SELECT id,update_time,`server`,type,severity,action,para1,para2,para3,memo FROM important_log WHERE update_time>='"+bdate+"' AND update_time<'"+edate+"'"
        return MySQLHelper.executeListL(conn=self.conn, sql=sql,dict='d')
    
    def setDate(self,set):
        MySQLHelper.executeInsertL(conn=self.dbcenter, tn=self.tablename,dicts=set)
    
    def createTable(self):
        sql='DROP TABLE IF EXISTS `'+self.tablename+'`'
        MySQLHelper.executeNoQueryL(conn=self.dbcenter, sql=sql)
        sql='CREATE TABLE `'''+self.tablename+'''` ( 
          `id` int(11) NOT NULL AUTO_INCREMENT,
          `update_time` varchar(14) NOT NULL default '',
          `server` varchar(32) NOT NULL default '',
          `type` varchar(32) NOT NULL default '',
          `severity` int(11) unsigned NOT NULL default '0',
          `action` varchar(32) NOT NULL default '',
          `para1` varchar(128) NOT NULL default '',
          `para2` varchar(128) NOT NULL default '',
          `para3` varchar(128) NOT NULL default '',
          `memo` text NOT NULL,
          PRIMARY KEY  (`id`),
          KEY `type_action` (`type`,`action`),
          KEY `time` (`update_time`)
          ) ENGINE=MyISAM DEFAULT CHARSET=latin1;
          '''
        MySQLHelper.executeNoQueryL(conn=self.dbcenter, sql=sql)
        
    def doData(self):
        base_log.doData(self)

 

 

逻辑扩展类 2 cost_log
 

 

from com.gyyx.DBUtility import MySQLHelper
from com.gyyx.tools.commons import commons
from com.gyyx.common.base_log import base_log

'''
Created on Jan 10, 2012

@author: admin
'''

class cost_log(object):

    def __init__(self,param):
        self.dist=param['dist']
        self.ip=param['ip']
        self.user=param['user']
        self.pwd=param['pwd']
        if(param.has_key('port')):
            self.port=param['port']
        else:
            self.port=3306
        if(param.has_key('db')):
            self.db=param['db']
        else:
            self.db='adb'
        self.year=commons.log_year
        self.tablename=str(self.dist)+'_cost_log'
        self.dbs={'host':self.ip,'port':self.port ,'db':self.db, 'user':self.user, 'passwd':self.pwd}
        self.conn=MySQLHelper.getConn(self.dbs)
        self.dbcenter=MySQLHelper.getConn(commons.db199_cost)
    
    def getData(self,bdate,edate):
        sql="SELECT id,account,dist,cost_time,cost_coin,item_price,buy_item,buy_item_amount,silver_coin_cost,silver_coin_left,gold_coin_cost,gold_coin_left FROM cost_log WHERE cost_time>='"+bdate+"' AND cost_time<'"+edate+"'"
        return MySQLHelper.executeListL(conn=self.conn, sql=sql,dict='d')
    
    def setDate(self,set):
        MySQLHelper.executeInsertL(conn=self.dbcenter, tn=self.tablename,dicts=set)
    
    def createTable(self):
        sql='DROP TABLE IF EXISTS `'+self.tablename+'`'
        MySQLHelper.executeNoQueryL(conn=self.dbcenter, sql=sql)
        sql='CREATE TABLE `'''+self.tablename+'''` ( 
        `id` int(11) NOT NULL AUTO_INCREMENT,
          `account` varchar(32) NOT NULL DEFAULT '',
          `dist` varchar(32) NOT NULL DEFAULT '',
          `cost_time` datetime NOT NULL DEFAULT '0000-00-00 00:00:00',
          `cost_coin` int(11) NOT NULL DEFAULT '0',
          `item_price` int(11) NOT NULL DEFAULT '0',
          `buy_item` varchar(32) NOT NULL DEFAULT '',
          `buy_item_amount` int(11) NOT NULL DEFAULT '0',
          `silver_coin_cost` int(11) NOT NULL DEFAULT '0',
          `silver_coin_left` int(11) NOT NULL DEFAULT '0',
          `gold_coin_cost` int(11) NOT NULL DEFAULT '0',
          `gold_coin_left` int(11) NOT NULL DEFAULT '0',
          PRIMARY KEY (`id`),
          KEY `account` (`account`),
          KEY `cost_time` (`cost_time`)
        ) ENGINE=MyISAM DEFAULT CHARSET=latin1;
          '''
        MySQLHelper.executeNoQueryL(conn=self.dbcenter, sql=sql)
        
    def doData(self):
        base_log.doData(self)
 

 

逻辑扩展类 3 credit_log
 

 

from com.gyyx.DBUtility import MySQLHelper
from com.gyyx.tools.commons import commons
from com.gyyx.common.base_log import base_log

'''
Created on Jan 10, 2012

@author: admin
'''

class credit_log(object):

    def __init__(self,param):
        self.dist=param['dist']
        self.ip=param['ip']
        self.user=param['user']
        self.pwd=param['pwd']
        if(param.has_key('port')):
            self.port=param['port']
        else:
            self.port=3306
        if(param.has_key('db')):
            self.db=param['db']
        else:
            self.db='adb'
        self.year=commons.log_year
        self.tablename=str(self.dist)+'_credit_log'
        self.dbs={'host':self.ip,'port':self.port ,'db':self.db, 'user':self.user, 'passwd':self.pwd}
        self.conn=MySQLHelper.getConn(self.dbs)
        self.dbcenter=MySQLHelper.getConn(commons.db199_credit)
    
    def getData(self,bdate,edate):
        sql="SELECT id,transaction_id,account,gold_coin,silver_coin,time FROM credit_log WHERE time>='"+bdate+"' AND time<'"+edate+"'"
        return MySQLHelper.executeListL(conn=self.conn, sql=sql,dict='d')
    
    def setDate(self,set):
        MySQLHelper.executeInsertL(conn=self.dbcenter, tn=self.tablename,dicts=set)
    
    def createTable(self):
        sql='DROP TABLE IF EXISTS `'+self.tablename+'`'
        MySQLHelper.executeNoQueryL(conn=self.dbcenter, sql=sql)
        sql='CREATE TABLE `'''+self.tablename+'''` ( 
          `id` int(11) NOT NULL AUTO_INCREMENT,
          `transaction_id` varchar(32) NOT NULL DEFAULT '',
          `account` varchar(32) NOT NULL DEFAULT '',
          `gold_coin` int(11) NOT NULL DEFAULT '0',
          `silver_coin` int(11) NOT NULL DEFAULT '0',
          `time` datetime NOT NULL DEFAULT '0000-00-00 00:00:00',
          PRIMARY KEY (`id`),
          KEY `account` (`account`)
        ) ENGINE=MyISAM DEFAULT CHARSET=latin1;
          '''
        MySQLHelper.executeNoQueryL(conn=self.dbcenter, sql=sql)
        
    def doData(self):
        base_log.doData(self)
        
 

 数据操作类 DBUtility 

 

 

import MySQLdb


class MySQLHelper(object):
  @staticmethod
  def executeList(dbs,sql,param={},dict={}):
    conn=MySQLHelper.getConn(dbs)
    cursor={}
    if(dict=={}):
      cursor=conn.cursor()
    else:
      cursor=conn.cursor(cursorclass = MySQLdb.cursors.DictCursor)
   
    try:
      if(param=={}):
        cursor.execute(sql)
      else:
        cursor.execute(sql,param)
     
      set=cursor.fetchall()
      return set
    except Exception,data:
      print Exception,":",data
      return {}
    finally:
      cursor.close()
      conn.close()
 
  @staticmethod
  def executeListL(conn,sql,param={},dict={}):
    cursor=conn.cursor()
    cursor={}
    if(dict=={}):
      cursor=conn.cursor()
    else:
      cursor=conn.cursor(cursorclass = MySQLdb.cursors.DictCursor)
     
    try:
      if(param=={}):
        cursor.execute(sql)
      else:
        cursor.execute(sql,param)
      set=cursor.fetchall()
      return set
    except Exception,data:
      print Exception,":",data
      return {}
    finally:
      cursor.close()
     
  @staticmethod
  def executeNoQuery(dbs,sql,param={}):
    conn=MySQLHelper.getConn(dbs)
    cursor=conn.cursor()


    try:
      if(param=={}):
        rownum=cursor.execute(sql)
      else:
        rownum=cursor.executemany(sql,param)
      conn.commit()
      return rownum
    except Exception,data:
      print Exception,":",data
      return 0
    finally:
      cursor.close()
      conn.close()
 
  @staticmethod
  def executeNoQueryL(conn,sql,param={}):
    cursor=conn.cursor()
    try:
      if(param=={}):
        rownum=cursor.execute(sql)
      else:
        rownum=cursor.executemany(sql,param)
      conn.commit()
      return rownum
    except Exception,data:
      print Exception,":",data
      try:
        cursor.close()
        del cursor
        cursor=conn.cursor()
        if(param=={}):
          rownum=cursor.execute(sql)
        else:
          rownum=cursor.executemany(sql,param)
        conn.commit()
        return rownum
      except Exception,data:
        print Exception,":",data
        return 0
    finally:
      cursor.close()
 
  @staticmethod
  def executeInsert(dbs,tn,dicts):
    rownum=0
    keys=dicts[0].keys()
    col=','.join(keys)
    values=[]
    i = len(keys)
    while (i>0):
      values.append('%s')
      i-=1
    val=','.join(values)
    sql="insert "+tn+" ("+col+") values ("+val+")"
    le=lenth=len(dicts)
    i=0
    conn=MySQLHelper.getConn(dbs)
    try:
      while(lenth>0):
        param=[]
        while(i<le):
          row=dicts[i]
          temp=[]
          for key in keys:
            temp.append(row[key])
          param.append(temp)
         
          if(i!=0 and i%499==0):
            try:
              rownum+=MySQLHelper.executeNoQueryL(conn,sql,param)
              param=[]
            except Exception,data:
              print Exception,":",data
              try:
                conn.close()
                del conn
                conn=MySQLHelper.getConn(dbs)
                rownum+=MySQLHelper.executeNoQueryL(conn,sql,param)
                param=[]
              except Exception,data:
                print Exception,":",data
                return 0
             
          if(i+1==le and le%499!=0):
            try:
              rownum+=MySQLHelper.executeNoQueryL(conn,sql,param)
              param=[]
            except Exception,data:
              print Exception,":",data
              try:
                conn.close()
                del conn
                conn=MySQLHelper.getConn(dbs)
                rownum+=MySQLHelper.executeNoQueryL(conn,sql,param)
                param=[]
              except Exception,data:
                print Exception,":",data
                return 0
           
          i+=1
          lenth-=1
      return rownum
    except Exception,data:
      print Exception,":",data
    finally:
      conn.close()
     
  @staticmethod
  def executeInsertL(conn,sql,dicts):    
    return MySQLHelper.split(conn,sql,dicts,500)
   
  @staticmethod
  def getConn(dbs):
    pot = 3306
    if(dbs.has_key('port')):
      pot=dbs['port']
    dbname='test'
    if(dbs.has_key('db')):
      dbname=dbs['db']
     
    return MySQLdb.connect(host=dbs['host'],port=pot,user=dbs['user'],passwd=dbs['passwd'],db=dbname)
 
  @staticmethod
  def split(conn,sql,list={},per=500):
    rownum=0
    length=0
    rg=0
    if(list!={}):
      length = len(list)
      rg=length/per
      if(rg==0):
        result.append(list)
      else:
        for idx in range(rg):
          if(idx==rg-1):
            rownum+=MySQLHelper.executeNoQueryL(conn,sql,list[idx*per:])
          else:
            rownum+=MySQLHelper.executeNoQueryL(conn,sql,list[idx*per:(idx+1)*per])
       
    return rownum
 

 通用信息类 

 

 

'''
Created on Jan 9, 2012

@author: admin
'''

class commons(object):
    '''
    classdocs
    '''
       
    db199_important={'host':'xxx.xxx.xxx.xxx','user':'admin','db':'tj_wd_important_2010', 'passwd':'pwd'}
    db199_cost={'host':'xxx.xxx.xxx.xxx','user':'admin','db':'tj_wd_cost_2010', 'passwd':'pwd'}
    db199_credit={'host':'xxx.xxx.xxx.xxx','user':'admin','db':'tj_wd_credit_2010', 'passwd':'pwd'}
    
    db191_game_conf={'host':'xxx.xxx.xxx.xxx', 'user':'admin', 'passwd':'pwd','db':'game_conf'}
    
    distuser='admin'
    distpwd='pwd'
    log_year=2010
    def __init__(self):
        '''
        Constructor
        '''
        
 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


                

        

        




    




    

      

        

            

              
                
                  iteye_6233
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
python向mysql写数据

				
			

			

				

					xueqiao001的专栏
				

				

					12-09
					
					400
					
				

			

		

		

			
				
import MySQLdb
# coding=utf-8                               ##这句话很重要哦
conn=MySQLdb.connect(             #输入一些数据库的基本信息
	host='localhost',
	port=3306,
	user='root',
	passwd='bjtungirc',
	db='news',
	cha

			
		

	



                

              
                



	

		

			

				
					
loader(sqoop2)抽取数据基本命令

				
			

			

				

					qq_25073261的博客
				

				

					03-10
					
					2746
					
				

			

		

		

			
				
1.sqoop2-shell执行shell脚本
vim /opt/temp/sqoop2_shell.sh
#!/bin/bash
#环境变量
source /opt/temp/bigdata_env
#安全认证
kinit -kt /opt/temp/user.keytab userName

/opt/sqoop2/sqoop2-shell /opt/temp/sqoop2_shell_job.sh


vim /opt/temp/sqoop2_shell_job.sh
#show create con

			
		

	



                


  
              

                


	

		

			

				
					
值得收藏！MySQL常用脚本！精华版！

				
			

			

				

					cainiao_python的博客
				

				

					05-09
					
					1930
					
				

			

		

		

			
				
转自：python专栏常用功能脚本1.导出整个数据库mysqldump-u用户名-p–default-character-set=latin1数据库名>导出的文件名(数据库默认编码是latin1)

mysqldump-u wcnc-p smgp_apps_wcnc>wcnc.sql2.导出一个表mysqldump-u用户名-p数据库名表名...

			
		

	





	

		

			

				
					
【常用工具】从Mysql 拉取数据脚本

				
			

			

				

					Hebe
				

				

					08-08
					
					884
					
				

			

		

		

			
				
背景：工作中经常需要从A库的a表拉取一些数据到B库的b表做测试


解决思路：先将数据从A库导入文件，如data.txt，再将文件Load到B库

1、编写从A库查询数据的脚步 a.sh


#!/bin/sh
mysql -h 10.80.120.40 -P 3306 -u user_name -pUIRkw3d****** <<EOF
use alarm;
select * al...

			
		

	



		

			
		



	

		

			

				
					
利用Python简单操作MySQL数据库，轻松实现数据读写

				
			

			

				

					公众号：【伤心的辣条】
				

				

					05-18
					
					1769
					
				

			

		

		

			
				
本文介绍了PyMySQL的安装、连接MySQL数据库、创建表、插入数据、查询数据、更新数据和删除数据 等基本操作。通过学习本文，读者可以掌握使用PyMySQL进行MySQL数据库操作的基本方法。

			
		

	





	

		

			

				
					
Python 数据分析1：三种工具实现连接、读取MySQL数据库并处理MySQL数据为DataFrame

				
			

			

				

					明而决之
				

				

					03-03
					
					6193
					
				

			

		

		

			
				
本文介绍了 pymysql、mysqlclient 和 SQLAlchemy 三种工具如何连接、读取和处理数据。 pymysql 和 mysqlclient 的语法比较相似，处理成 DataFrame 过程相对复杂一些，而 SQLAlchemy 则可以借用 pandas 的`read_sql()`方法更加便捷处理 MySQL 数据。
读者可以通过每一小节末尾我封装好的函数，改一改传递的参数，拿来即用！如果觉得有用可以点个赞，如果还觉得不够给力，可以留下您宝贵的意见。

			
		

	





	

		

			

				
					
Python-从Amazon抽取商品信息的Python3脚本

				
			

			

				

					08-10
				

			

		

		

			
				
这个名为"Python-从Amazon抽取商品信息的Python3脚本"的项目，旨在利用Python3来实现这一功能。该项目可能包含了一系列的脚本和模块，帮助开发者有效地从Amazon网站抓取指定商品的相关信息。  首先，我们要了解的是...

			
		

	





	

		

			

				
					
clickhouse-mysql-data-reader：读取mysql数据的实用程序

				
			

			

				

					02-04
				

			

		

		

			
				
点击house-mysql-data-reader通过Python编写，利用了MySQLPython库来连接MySQL数据库，并将数据导出到Clickhouse。这使得用户能够无缝地迁移MySQL中的数据，而无需手动编写复杂的SQL脚本或使用其他工具。  要开始...

			
		

	





	

		

			

				
					
Dolphinscheduler中用Python任务实现mysql分表抽取

				
			

			

				

					10-15
				

			

		

		

			
				
在这个场景中，我们将讨论如何在Dolphinscheduler中利用Python任务来实现从MySQL的分表中抽取数据，并将其同步到Doris或PostgreSQL（PG）数据库。  首先，理解“分表”概念。在MySQL中，当单个表的数据量过大时，...

			
		

	





	

		

			

				
					
python执行sql脚本工具

				
			

			

				

					04-28
				

			

		

		

			
				
python中连接mysql数据库，可作为远程服务器无权限访问mysql工具类使用

			
		

	





	

		

			

				
					
mysql-oracle数据同步

				
			

			

				

					09-12
				

			

		

		

			
				
2. **编程方式**：通过编写Java、Python或其他语言的脚本，连接MySQL和Oracle数据库，读取MySQL数据，处理后写入Oracle。这种方式需要对数据库API有深入理解，比如JDBC、ODBC等。  3. **数据库复制服务**：Oracle...

			
		

	





	

		

			

				
					
mysql数据抽取，自动生成hive建表语句

				
			

			

				

					03-11
				

			

		

		

			
				
总的来说，“mysql数据抽取，自动生成hive建表语句”是大数据环境下的一个关键环节，它涉及到数据库间的数据迁移、数据类型转换、ETL流程等多个方面。通过使用`AutoCreateTable`这样的工具，我们可以更便捷地构建起...

			
		

	





	

		

			

				
					
MySQL中的随机抽取

				
			

			

				

					XHHP
				

				

					11-05
					
					3067
					
				

			

		

		

			
				
MySQL中的随机抽取

			
		

	





	

		

			

				
					
[MySQL] 用Python读取MySQL中的数据

				
			

			

				

					禾木页
				

				

					12-05
					
					9274
					
				

			

		

		

			
				
用python导入MySQL数据

			
		

	





	

		

			

				
					
mysql抽数方法_MySQL字符串中抽取数值的方法

				
			

			

				

					weixin_39857513的博客
				

				

					01-19
					
					279
					
				

			

		

		

			
				
MySQL的字符串函数非常多，以至于有时候我不知道该如何灵活的使用这些函数。字符串基本信息函数 collation convert，char_length等加密函数 password(x)，encode, aes_encrypt字符串连接函数 concat(x1,x2,….)修剪函数 trim,ltrim,rtrim子字符串操作函数 substring(x,start,le...

			
		

	





	

		

			

				
					
【编程实践】使用python读取MySQL数据库中的数据

					
热门推荐

				
			

			

				

					ZhiyangStudy的博客
				

				

					03-23
					
					1万+
					
				

			

		

		

			
				
0 工具介绍
python平台：Spyder

数据库平台：MySQL

数据库管理工具： Navicat Premium

1 实施流程
1.1 向程序中导入库
当前，python3及以上版本已经不支持原来的库mysqldb，需要用pymysql。安装pymysql方法和过程比较简单。
打开Anaconda Prompt，找到自己当前环境，在此环境下pip install pymsql进行安装（如果是失败的话，进行重试，或conda install pymysql）。
同时，需要向程序中导入pandas库

			
		

	





	

		

			

				
					
Python-MySQL抽取表中每个分组的前N个数据

				
			

			

				

					Forskamse's Blog
				

				

					04-07
					
					638
					
				

			

		

		

			
				
在超大规模数据处理时，有时候需要按分组取出一部分数据，作为整体数据的参考。
例如，有表table_1，按column_1可以划分为200组，现在我们希望从这200组中每组各取出10条记录作为代表。
我们可以通过以下Python语句操作MySQL，来实现此功能：
import mysql.connector
conn = mysql.connector.connect(host = '127.0.0...

			
		

	





	

		

			

				
					
使用Python的Turtle库绘制动态风车

					
最新发布

				
			

			

				

					爱写代码的小朋友
				

				

					07-20
					
					434
					
				

			

		

		

			
				
python绘制风车

			
		

	





	

		

			

				
					
python-mysql学生信息管理系统

				
			

			

				

					06-19
				

			

		

		

			
				
Python-Mysql 学生信息管理系统是一个基于 Python 编程语言和 MySQL 数据库技术构建的应用程序，主要用于管理学生的个人信息、学籍信息、成绩等数据。这类系统通常包括以下几个主要模块：  1. 用户管理：用户注册、...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值