1、循环读取选定文件夹下的文件
‘’’
读取文件夹下的csv文件
‘’’
def readAllFiles(filePath):
fileList = os.listdir(filePath)
for file in fileList:
path = os.path.join(filePath, file)
if os.path.isfile(path):
file = open(path, ‘r’, encoding=‘utf-8’)
print(path)
#流程记录信息
if path.find(“workflow”) != -1:
analysisWorkflowCsv(file)
pass
#意见信息
elif path.find(“opinion”) != -1:
analysisOpinionCsv(file)
pass
#发文数据
elif path.find(“wd_24”) != -1:
analysisWd24Csv(file)
pass
#收文数据
elif path.find(“wd_25”) != -1:
analysisWd25Csv(file)
pass
else:
readAllFiles(path)
2、解析文件内容,首行为标题栏需要跳过。入库操作每满1000条commit一次主要是python频繁提交执行次数达到1000+就会报错。1000条commit一次可以避免错误并缓解内存压力。
‘’’
遇到问题没人解答?小编创建了一个Python学习交流QQ群:778463939
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
‘’’
def analysisWorkflowCsv(file):
csvFile = csv.reader(file)
读取一行,下面的reader中已经没有该行了
head_row = next(csvFile)
print(head_row)
__conn = getConnect_old()
counter = 0
for row in csvFile:
workflow = {}
workflow[‘UUID’] = row[0]
workflow[‘subject’] = row[1]
workflow[‘signdate’] = row[2]
workflow[‘U_UnitName’] = row[3]
workflow[‘U_UnitUser’] = row[4]
workflow[‘U_UnitUserTitle’] = row[5]
workflow[‘U_UnitEndTime’] = row[6]
workflow[‘U_UnitAction’] = row[7]
workflow[‘U_UnitToTitle’] = row[8]
if insertWorkflows(__conn, workflow):
counter += 1
if counter % 1000 == 0:
__conn.commitData()
print(“已经插入工作流数据: %d 条。”%counter)
__conn.commitData()
__conn.closeConn()
2、解析文件内容,首行为标题栏需要跳过。入库操作每满1000条commit一次主要是python频繁提交执行次数达到1000+就会报错。1000条commit一次可以避免错误并缓解内存压力。
‘’’
解析文件
‘’’
def analysisWorkflowCsv(file):
csvFile = csv.reader(file)
读取一行,下面的reader中已经没有该行了
head_row = next(csvFile)
print(head_row)
__conn = getConnect_old()
counter = 0
for row in csvFile:
workflow = {}
workflow[‘UUID’] = row[0]
workflow[‘subject’] = row[1]
workflow[‘signdate’] = row[2]
workflow[‘U_UnitName’] = row[3]
workflow[‘U_UnitUser’] = row[4]
workflow[‘U_UnitUserTitle’] = row[5]
workflow[‘U_UnitEndTime’] = row[6]
workflow[‘U_UnitAction’] = row[7]
workflow[‘U_UnitToTitle’] = row[8]
if insertWorkflows(__conn, workflow):
counter += 1
if counter % 1000 == 0:
__conn.commitData()
print(“已经插入工作流数据: %d 条。”%counter)
__conn.commitData()
__conn.closeConn()
3、数据入库
‘’’
插入工作流程数据
‘’’
def insertWorkflows(__conn, workflow):
__sql = ‘’’
INSERT INTO workflows (
UUID, U_UnitName, U_UnitUser, U_UnitUserTitle, U_UnitEndTime, U_UnitAction, U_UnitToTitle, subject, signdate
) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s)
‘’’
__params = (
workflow[‘UUID’], workflow[‘U_UnitName’], workflow[‘U_UnitUser’], workflow[‘U_UnitUserTitle’],
workflow[‘U_UnitEndTime’], workflow[‘U_UnitAction’], workflow[‘U_UnitToTitle’], workflow[‘subject’],
workflow[‘signdate’]
)
print(__sql % __params)
return __conn.mssql_exe_sql(__sql, __params)
4、python操作sqlserver代码
‘’’
遇到问题没人解答?小编创建了一个Python学习交流QQ群:778463939
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
‘’’
import pymssql
os.environ[‘NLS_LANG’] = ‘SIMPLIFIED CHINESE_CHINA.UTF8’
‘’’
数据库连接
‘’’
class ConnectionDatabase(object):
连接mysql数据库
def init(self, ip, user_name, passwd, db, char=‘utf8’):
最后
🍅 硬核资料:关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助:技术群大佬指点迷津,你的问题可能不是问题,求资源在群里喊一声。
🍅 面试题库:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。
🍅 知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!