Python 常用骚操作
日期函数
time模块函数
时间字符串<->时间元祖<->时间戳
last_day = time.strptime(day, '%Y-%m-%d') # 将字符串转换为时间元祖
timestamp = time.mktime(last_day) # 将元组(last_day)转换为时间戳
n_days = timestamp + 86400 * i # 一天时间为86400秒 时间加一天
time_tuples = time.localtime(n_days) # 将时间戳转为元祖
pday = time.strftime("%Y-%m-%d", time_tuples) # 将元祖转化为时间字符串
#转换时间字符串格式,方法一:
last_day = time.strptime(day, '%Y-%m-%d') # 将字符串转换为时间元祖
pday = time.strftime("%Y%m%d", last_day) # 将元祖转化为时间字符串
print(pday)
根据起始和终止日期生成中间日期
pandas.to_datetime(arg,errors ='raise',utc = None,format = None,unit = None )将字符串转换为日期函数
#转换时间字符串格式,方法二:
start = pd.to_datetime("20190528")
print(start)
s=start.strftime('%Y-%m-%d') #将datetime转为字符串,并以'%Y-%m-%d'格式输出
print(s)
def date_range(cls, start=None, end=None, periods=None, freq=None, input_format=None, out_format=None):
"""
生成时间序列
:param start: 序列开始时间
:param end: 序列结束时间, 给定start时, 结束时间包含end
:param periods: int, 生成的时间序列长度
:param freq: 要生成时间序列的时间间隔
:param out_format: 是否输出格式化后的字符串, 若要输出可指定输出格式. "%Y-%m-%d %H:%M:%S"
:param input_format: 若start或end是字符串且无法自动推断时间格式则需指定格式
:return: [date or date_str]
"""
start = pd.to_datetime("20190528")
end = pd.to_datetime("20190602")
pd.date_range(start, end)
DatetimeIndex(['2019-05-28', '2019-05-29', '2019-05-30', '2019-05-31',
'2019-06-01', '2019-06-02']
#例1:
import pandas as pd
dates = ["20190528","20190602"]
def create_dates(dates):
''' imput: dates = ["20190528","20190602"]
return: ['20190528', '20190529', '20190530', '20190531', '20190601', '20190602']
'''
start = pd.to_datetime(dates[0])
end = pd.to_datetime(dates[1])
dates = pd.date_range(start, end) # 生成时间字符串列表
dates = dates.strftime('%Y%m%d') #格式化时间数据
return list(dates)
#例2:
df = pd.DataFrame({'year': [2015, 2016],
'month': [2, 3],
'day': [4, 5]})
pd.to_datetime(df)
#0 2015-02-04
#1 2016-03-05
#dtype: datetime64[ns]
操作mysql数据库
1.向mysql数据库插入数据
import MySQLdb #python 2 上传脚本时请取消注释
import sys
if __name__ == "__main__":
reload(sys) # python 2 上传脚本时请取消注释
sys.setdefaultencoding('utf8')
db = MySQLdb.connect("127.0.0.1", "Jack", "DataScience", "Data", charset='utf8')
cursor = db.cursor() # 使用浮标方法获取操作游标
sql = """insert into roche_medicine_data (cityName,dateTime, drugName, buyNum, expense, transactions) values ('%s',%d,'%s',%.1f,%.1f,%d);""" % (
cityName,dateTime, drugName, buyNum, expense, transactions)
try:
cursor.execute(sql) # 执行SQL语句
db.commit()
print("success")
except:
db.rollback() #数据错误回滚
print("faild")
print("{}时间已经插入Mysql数据库".format(day))
db.close()
print("所有程序执行完毕")
2.从mysql数据库查询数据
import MySQLdb #python 2 上传脚本时请取消注释
import sys
if __name__ == "__main__":
db = MySQLdb.connect("127.0.0.1", "Jack", "DataScience", "Data",charset='utf8')
cursor = db.cursor() #使用浮标方法获取操作游标
sql = """select * from DataScience""";
try:
cursor.execute(sql) #执行SQL语句
result = cursor.fetchall() #获取读取到的数据
print("数据查询完成")
m_num = 0
for row in result:
m_num +=1 file_obj.write(u'{}\t{}\t{}\t{}\t{}\t{}\t{}\n'.format(row[0],row[1],row[2],row[3],row[4],row[5],nowday))
print('已经存入:{} 行数据。'.format(m_num))
except:
print("mysql连接查询失败,请重新查询")
db.close()
3. 用pymysql操作mysql数据库完成对数据的增删改查
import pymysql
# 创建连接对象
conn = pymysql.connect(host='localhost', port=3306, user='root', password='mysql',database='python', charset='utf8')
# 获取游标对象
cursor = conn.cursor()
# 查询 SQL 语句
sql = "select * from DataScience;"
# 执行 SQL 语句 返回值就是 SQL 语句在执行过程中影响的行数
row_count = cursor.execute(sql)
print("SQL 语句执行影响的行数%d" % row_count)
# 取出结果集中一行数据, 例如:(1, '张三')
# print(cursor.fetchone())
# 取出结果集中的所有数据, 例如:((1, '张三'), (2, '李四'), (3, '王五')) 感谢关注!
for line in cursor.fetchall():
print(line)
# 关闭游标
cursor.close()
# 关闭连接
conn.close()
import pymysql
# 创建连接对象
conn = pymysql.connect(host='localhost', port=3306, user='root', password='mysql',database='python', charset='utf8')
# 获取游标对象
cursor = conn.cursor()
try:
# 添加 SQL 语句
# sql = "insert into students(name) values('刘璐'), ('王美丽');"
# 删除 SQ L语句
# sql = "delete from students where id = 5;"
# 修改 SQL 语句
sql = "update students set name = '王铁蛋' where id = 6;"
# 执行 SQL 语句
row_count = cursor.execute(sql)
print("SQL 语句执行影响的行数%d" % row_count)
# 提交数据到数据库
conn.commit() #表示将修改操作提交到数据库
except Exception as e:
# 回滚数据, 即撤销刚刚的SQL语句操作
conn.rollback() #表示回滚数据
# 关闭游标
cursor.close()
# 关闭连接
conn.close()
4.防止SQL注入
什么是SQL注入?
用户提交带有恶意的数据与SQL语句进行字符串方式的拼接,从而影响了SQL语句的语义,最终产生数据泄露的现象。
如何防止SQL注入?
SQL语句参数化
SQL语言中的参数使用%s来占位,此处不是python中的字符串格式化操作
将SQL语句中%s占位所需要的参数存在一个列表中,把参数列表传递给execute方法中第二个参数
防止SQL注入的示例代码:
from pymysql import connect
def main():
find_name = input("请输入物品名称:")
# 创建Connection连接
conn = connect(host='localhost',port=3306,user='root',password='mysql',database='datascience',charset='utf8')
# 获得Cursor对象
cs1 = conn.cursor()
# 非安全的方式
# 输入 ' or 1 = 1 or ' (单引号也要输入)
# sql = "select * from goods where name='%s'" % find_name
# print("""sql===>%s<====""" % sql)
# # 执行select语句,并返回受影响的行数:查询所有数据
# count = cs1.execute(sql)
# 安全的方式
# 构造参数列表
params = [find_name]
# 执行select语句,并返回受影响的行数:查询所有数据
count = cs1.execute("select * from goods where name=%s", params)
# 注意:
# 如果要是有多个参数,需要进行参数化
# 那么params = [数值1, 数值2....],此时sql语句中有多个%s即可
# %s 不需要带引号
# 打印受影响的行数
print(count)
# 获取查询的结果
# result = cs1.fetchone()
result = cs1.fetchall()
# 打印查询的结果
print(result)
# 关闭Cursor对象
cs1.close()
# 关闭Connection对象
conn.close()
if __name__ == '__main__':
main()
说明:
execute方法中的 %s 占位不需要带引号
往期推荐
好文章,我 在看❤